不给抚养费不可以终止探视权，任何情况下都无权取消父或母对子女的探视权。但根据我国《婚姻法》第三十八条规定，离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议;协议不成时，由人民法院判决。父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利;中止的事由消失后，应当恢复探望的权利。离婚后不直接抚养孩子的一方具有探望孩子的法定的权利，一方不得以先行给付抚养费以及双方家庭之间存在矛盾等理由加以干涉、阻挠。离婚后的双方应当本着有利于孩子身心健康的原则，对子女探望、教育等事项进行协商解决，为孩子营造和谐的成长环境。中止探望权的惟一条件是不利于子女的身心健康。至于其他原因，如父母之间相互关系恶化，或探望权人未及时给付抚养费等，都不能成为中止探望权的理由。
法律依据：
《婚姻法》第三十八条
离婚后，不直接抚养子女的父或母，有探望子女的权利，另一方有协助的义务。行使探望权利的方式、时间由当事人协议;协议不成时，由人民法院判决。父或母探望子女，不利于子女身心健康的，由人民法院依法中止探望的权利;中止的事由消失后，应当恢复探望的权利。