根据相关法律规定，意向金是可以退的。意向金是附条件的定金，是购买房屋的意向。在买方有购买意向后，委中介公司以书面形式确定下来，并支付一定金额的现金，委托经纪人在买方授权条件范围内和卖方进行谈判，如果卖方同意买方的购买条件，中介公司就将意向金转交给卖方。意向金只是一个购房意愿的表示，在中介公司尚未和业主达成一致时，客户随时可以取回去。
意向金是交给中介公司并附带条件委托中介去跟业主就价格等条件进行磋商，成就转为定金，谈不成返还客户。中介公司是无权罚没“意向金”的，也不能以抵作中介费了事，是不是支付居间费，要看居间成功与否;是不是支付委托代理报酬，要看委托合同的约定。
此外，当意向金转为定金之后，视为定金，根据《合同法》中关于定金的规定，在交付定金之后，一方违约可以要求双倍返还定金。
法律依据：
《中华人民共和国担保法》第八十九条
当事人可以约定一方向对方给付定金作为债权的担保。债务人履行债务后，定金应当抵作价款或者收回。给付定金的一方不履行约定的债务的，无权要求返还定金;收受定金的一方不履行约定的债务的，应当双倍返还定金。