孩子的由谁抚养如果双方不能协商的，那就需要由法院来判决。
法院会综合考虑全案情况，但是否出轨并不在考虑范围之内，因为出轨并不代表没有能力抚养好孩子
判决孩子的抚养权归谁，主要考虑以下因素：
1、两周岁以下的子女，一般随母方生活。若母亲患有久治不愈的传染性疾病或其他严重疾病的;有抚养条件不尽抚养义务的，或其他原因无法与母亲生活的，子女可随父方生活。
2、对两周岁以上未成年的子女，抚养权由父母协商解决，协商不成的，法院将按照有利于子女成长的原则进行判决，一般来说，有下面条件的可以优先考虑子女随其生活：其中一方已做绝育手术或丧失生育能力的;一方无子女，而另一方有其他子女的;子女单独随祖父母或外祖父母生活多年的，老人要求并有能力照顾孩子的等。
3、八周岁以上的未成年子女已经有了基本的判断能力，随父还是随母生活应该征求子女本人的意见。
4、在有利于保护子女利益的前提下，父母双方也可以协议轮流抚养子女。
法律依据：
《中华人民共和国婚姻法》第三十六条
父母与子女间的关系，不因父母离婚而消除。离婚后，子女无论由父或母直接抚养，仍是父母双方的子女。 离婚后，父母对于子女仍有抚养和教育的权利和义务。 离婚后，哺乳期内的子女，以随哺乳的母亲抚养为原则。哺乳期后的子女，如双方因抚养问题发生争执不能达成协议时，由人民法院根据子女的权益和双方的具体情况判决。