根据法律规定，委托人或受委托人可以随时解除委托合同，这个时候如果不想继续委托的话，那么不需要承担违约责任，所以预付金是可以退回的。
《合同法》中规定：“委托人或者受托人可以随时解除委托合同。”赋予委托合同当事人任意解除合同的权利。委托合同一方当事人依法有权单方行使合同解除权，但并不意味着其不必承担因委托合同解除所产生的相应法律后果或民事责任。依照《合同法》的规定，委托人解除合同后依法应向受托人支付相应的报酬。《合同法》规定：“因不可归责于受托人的事由，委托合同解除或者委托事务不能完成的，委托人应当向受托人支付相应的报酬。当事人另有约定的，按照其约定。”依照该条委托人报酬支付义务的规定，委托合同的解除不是由于受托人的过错，委托人原则上支付的报酬应与受托人完成的委托事务相适应。据此，委托合同提前解除后，受托人未完成的委托代理事务所对应的报酬，委托人无须支付。
法律依据：
《中华人民共和国合同法》第四百一十条
委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。