1. 一般情况下仅因租房有霉味不一定能直接退租。若霉味严重影响正常居住使用导致合同目的无法实现可依据《民法典》第五百六十三条规定当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的另一方可以解除合同。2. 首先要查看租赁合同对此有无约定。若合同约定房屋应无明显霉味等影响居住的问题那么可据此要求解除合同退租。3. 其次可尝试与房东协商解决。要求房东采取措施消除霉味如通风、除湿、维修等。若房东不配合或无法解决根本问题再考虑以影响居住为由提出退租。4. 若协商不成可收集相关证据如霉味的照片、视频因霉味导致身体不适的就医记录等通过法律途径主张解除租赁合同并退还剩余租金及押金等。
以上是律师的法律建议,如有疑问,欢迎进一步咨询。