如果受害人有充分的理由和证据证明交通事故认定书的责任认定有误，有权利要求上一级交管部门或人民法院予以变更或者撤销。根据《交通安全法》的有关规定，当事人对道路交通事故责任认定有异议的，可以自《道路交通事故认定书》送达之日起3日内，向上一级交警部门提出书面复核申请。复核申请应当载明复核请求及理由和主要证据。当事人书写复核申请时，一定要指出《道路交通事故认定书》划分责任不当的错误所在，并抓住有关证据不放，力争复核机关认可自己的意见。上一级交通管理部门收到复核申请后5日内，会作出是否受理的决定，自受理之日起30日内，作出复核结论。复核审查期间，当事人不能启动诉讼程序，否则将导致复核程序终止。
法律依据：
《中华人民共和国道路交通安全法》第二十一条
当事人自行协商达成协议的，制作道路交通事故自行协商协议书，并共同签名。道路交通事故自行协商协议书应当载明事故发生的时间、地点、天气、当事人姓名、驾驶证号或者身份证号、联系方式、机动车种类和号牌号码、保险公司、保险凭证号、事故形态、碰撞部位、当事人的责任等内容。
第二十二条
当事人自行协商达成协议的，可以按照下列方式履行道路交通事故损害赔偿：（一）当事人自行赔偿；（二）到投保的保险公司或者道路交通事故保险理赔服务场所办理损害赔偿事宜。
当事人自行协商达成协议后未履行的，可以申请人民调解委员会调解或者向人民法院提起民事诉讼。