对于出租人和承租人，只要在以下的情形内解除租赁合同，就不算违约：
房屋出租人在下列条件下可以解除租赁合同，收回全部出租房屋或者部分出租房屋。
1、房屋租赁协议到期，房屋出租人按约收回租赁房屋;
2、出租人家庭人口增多，住房困难，可与承租人协商收回租赁房屋;
3、承租人确实另有住房，承租房屋长期闲置，不能物尽其用的;
4、房屋承租人故意、或者过失将所租房屋损坏，改变房屋用途、拒绝修复或者赔偿的。
对于承租人而言，在房屋租赁期间，如果存在以下情况，就可以单方解除合同。
1、出租人未按时交付房屋，经承租人催告后在合理期限内仍未交付;
2、出租人交付的房屋不符合房屋租赁合同的约定，致使承租人不能实现房屋租赁的目的;
3、出租人已交付的房屋存在缺陷，危及承租人安全或健康的;
4、出租人不履行检查、维修义务，以致危及承租人安全或健康的。
法律依据：
《合同法》
第九十三条合同约定解除
当事人协商一致，可以解除合同。当事人可以约定一方解除合同的条件。解除合同的条件成就时，解除权人可以解除合同。
第九十四条合同的法定解除
有下列情形之一的，当事人可以解除合同：（一）因不可抗力致使不能实现合同目的；（二）在履行期限届满之前，当事人一方明确表示或者以自己的行为表明不履行主要债务；（三）当事人一方迟延履行主要债务，经催告后在合理期限内仍未履行；（四）当事人一方迟延履行债务或者有其他违约行为致使不能实现合同目的；（五）法律规定的其他情形。
第二百一十九条未正当使用租赁物的责任
承租人未按照约定的方法或者租赁物的性质使用租赁物，致使租赁物受到损失的，出租人可以解除合同并要求赔偿损失。
第二百二十四条转租
承租人经出租人同意，可以将租赁物转租给第三人。承租人转租的，承租人与出租人之间的租赁合同继续有效，第三人对租赁物造成损失的，承租人应当赔偿损失。承租人未经出租人同意转租的，出租人可以解除合同。
第二百二十七条租金的未支付、迟延支付和逾期不支付
承租人无正当理由未支付或者迟延支付租金的，出租人可以要求承租人在合理期限内支付。承租人逾期不支付的，出租人可以解除合同。
第二百三十一条租赁物的灭失
因不可归责于承租人的事由，致使租赁物部分或者全部毁损、灭失的，承租人可以要求减少租金或者不支付租金；因租赁物部分或者全部毁损、灭失，致使不能实现合同目的的，承租人可以解除合同。
第二百三十二条租期不明的处理
当事人对租赁期限没有约定或者约定不明确，依照本法第六十一条的规定仍不能确定的，视为不定期租赁。当事人可以随时解除合同，但出租人解除合同应当在合理期限之前通知承租人。