如果变更监护权，可以双方之间协商好，并到法院申请。
《最高人民法院关于贯彻执行<中华人民共和国民法通则>若干问题的意见》第18条监护人被指定后，不得自行变更。擅自变更的，由原被指定的监护人和变更后的监护人承担监护责任。但是其第22条规定监护人可以将监护职责部分或者全部委托给他人。因被监护人的侵权行为需要承担民事责任的，应当由监护人承担，但另有约定的除外;监护人确有过错的，负连带责任，可以向法院申请变更监护。
《民法通则》第十八条规定：监护人应当履行监护职责，保护被监护人的人身、财产及其他合法权益，除为被监护人的利益外，不得处理被监护人的财产。
监护人依法履行监护的权利，受法律保护。
监护人不履行监护职责或者侵害被监护人的合法权益的，应当承担责任；给被监护人造成财产损失的，应当赔偿损失。
人民法院可以根据有关人员或者有关单位的申请，撤销监护人的资格。
如果监护人不履行监护职责或者侵害被监护人的合法权益，可以申请变更。
法律依据：
《中华人民共和国民法通则》第十八条
监护人应当履行监护职责，保护被监护人的人身、财产及其他合法权益，除为被监护人的利益外，不得处理被监护人的财产。
监护人依法履行监护的权利，受法律保护。
监护人不履行监护职责或者侵害被监护人的合法权益的，应当承担责任;给被监护人造成财产损失的，应当赔偿损失。人民法院可以根据有关人员或者有关单位的申请，撤销监护人的资格。