对于出租人和承租人，只要在以下的情形内解除租赁合同，就不算违约：
房屋出租人在下列条件下可以解除租赁合同，收回全部出租房屋或者部分出租房屋。
1、房屋租赁协议到期，房屋出租人按约收回租赁房屋;
2、出租人家庭人口增多，住房困难，可与承租人协商收回租赁房屋;
3、承租人确实另有住房，承租房屋长期闲置，不能物尽其用的;
4、房屋承租人故意、或者过失将所租房屋损坏，改变房屋用途、拒绝修复或者赔偿的。
对于承租人而言，在房屋租赁期间，如果存在以下情况，就可以单方解除合同。
1、出租人未按时交付房屋，经承租人催告后在合理期限内仍未交付;
2、出租人交付的房屋不符合房屋租赁合同的约定，致使承租人不能实现房屋租赁的目的;
3、出租人已交付的房屋存在缺陷，危及承租人安全或健康的;
4、出租人不履行检查、维修义务，以致危及承租人安全或健康的。
法律依据:
《合同法》
《合同法》
第一百一十四条规定当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
约定的违约金低于造成的损失的，当事人可以请求人民法院或者仲裁机构予以增加；约定的违约金过分高于造成的损失的，当事人可以请求人民法院或者仲裁机构予以适当减少。
当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。