根据《最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释（二）》第十条规定，当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：（一）双方未办理结婚登记手续的；（二）双方办理结婚登记手续但确未共同生活的；（三）婚前给付并导致给付人生活困难的。适用前款第（二）、（三）项的规定，应当以双方离婚为条件。
媒人是为男女双方进行婚姻介绍的职业或者行为。媒人只提供双方中介服务，不对婚姻的成立承担责任。如媒人在婚姻介绍中侵害一方合法权益，受害人可以向法院起诉要求赔偿。
如与媒人有民事纠纷，符合起诉条件的，即可以到法院起诉。起诉的条件，参见《民事诉讼法》第一百一十九条规定。
《民事诉讼法》第一百一十九条规定，起诉必须符合以下条件：
（一）原告是与本案有直接利害关系的公民、法人和其他组织；
（二）有明确的被告；
（三）有具体的诉讼请求和事实、理由；
（四）属于人民法院受理民事诉讼的范围和受诉人民法院管辖。
因此，不退彩礼是不能起诉媒人的，只能将其作为证人。
法律依据：
最高人民法院关于适用〈中华人民共和国婚姻法〉若干问题的解释（二） 第十条当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：
（一） 双方未办理结婚登记手续的；
（二） 双方办理结婚登记手续但确未共同生活的；
（三） 婚前给付并导致给付人生活困难的。
适用前款第（二）、（三）项的规定，应当以双方离婚为条件。
《民事诉讼法》第一百一十九条 起诉必须符合下列条件：
（一）原告是与本案有直接利害关系的公民、法人和其他组织；
（二）有明确的被告；
（三）有具体的诉讼请求和事实、理由；
（四）属于人民法院受理民事诉讼的范围和受诉人民法院管辖。