退房意味着要单方解除合同。而根据我国《合同法》的规定，如果想要单方提前终止合同，那么需要符合法定的解除条件。若房屋发霉导致人无法入住等情况，根据《合同法》第94条第一款，因不可抗力导致合同无法继续履行以及第4款、当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的，也即根本性违约，则可以解除。但是，此时必须要证明，房屋发霉的程度已经达到无法正常居住的情形。或者也可以在支付一部分的违约金之后，解除合同退房。
另外，在房屋租赁关系上，要求解除租赁合同的一方，应该提前1个月通知对方，否则就属于违约(合同另有约定除外)， 对方当事人有权要求其支付违约金，租房合同中对违约金有约定(租房违约金的数额是由当事人双方通过事先约定而确定的)、则按约定的违约金比例支付。
法律依据：
《中华人民共和国合同法》第九十四条
【合同的法定解除】有下列情形之一的，当事人可以解除合同：
(一)因不可抗力致使不能实现合同目的;
(二)在履行期限届满之前，当事人一方明确表示或者以自己的行为表明不履行主要债务;
(三)当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行;
(四)当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的;
(五)法律规定的其他情形。