协议离婚后变更抚养权必须向法院起诉吗

不是。
(一)协议变更
“父母双方协议变更子女抚养关系的，应予准许”。可见，无论是协议离婚还是诉讼离婚后，要求变更子女抚养关系的，并非一定要向法院起诉，只要已离婚的双方当事人达成了变更子女抚养关系的协议，而且没有违反法律规定及对子女成长不利的问题，应予准许。离婚后，经双方协商一致达成的变更子女抚养协议，属于协议离婚的应向办理离婚登记机关备案，属于法院诉讼离婚的，应向原审法院备案。
(二)诉讼变更
双方协商一致的，只需要去法院备案后，就可以变更抚养权了。但是如果对抚养权变更协商不一致产生争执的，可以直接向法院起诉，提起变更抚养权之诉。但是，在向法院提起变更抚养权诉讼后，希望获得子女抚养权的一方，一般需要提交自己的收入情况以证明自己有抚养能力。收入证明所指收入包含工资、奖金、房租收入、股票收入、分红收入等项。收入证明应加盖公章或人事部门章，工资条加盖财务部门章。
【相关延伸】离婚后如何增加孩子抚养费？
1、由父母双方协议
父母通过平等自愿协商，就抚养费的有关问题达成明确具体的协议，不损害子女的合法权益的，应予准许。但是，协议应当利于子女的健康成长，不得损害子女的合法权益。为了防止父母双方损害子女利益的发生，婚姻登记机关或人民法院应当认真根据双方的经济状况、能力、子女的需要、当地的生活、教育水平等进行审查，如果协议不利于子女的，就不应准许。
2、由人民法院判决
双方协议不成，或者其协议不予准许时，应由人民法院从保护子女合法权益、有利于子女健康成长出发，根据子女的实际需要、父母双方的负担能力和当地的实际生活水平依法做了判决。