贷款下不来双方的合同就不能继续进行，如果是因为购房者自身原因，比如征信记录有污点或者还款能力不够而影响贷款审批，在这种情况下，购房者需要承担违约责任，支付违约金给卖家，同时卖家应该返还首付款。如果是银行原因，比如额度紧张无法放款，那么购房者可以和卖家协商解除购房合同，并且不必承担违约责任，卖家应该无条件退还购房首付；无论哪种原因使得贷款办不下来，购房首付都是可以退的，区别仅在于购房者是否需要支付违约金。
法律依据:
《中华人民共和国合同法》第一百零七条规定
《合同法》
第一百零七条 【违约责任当事人一方不履行合同义务或者履行合同义务不符合约定的，应当承担继续履行、采取补救措施或者赔偿损失等违约责任。