委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。
委托合同是以双方信任为存在的条件，如果一方不守信用，失信于另一方，继续履行合同已无必要，法律赋予了双方当事人的权利，即只要一方想终止合同，就可以随时解除合同，且不须有任何的理由。
委托合同的一方当事人解除委托合同而造成对方损失的，应当承担赔偿责任。解除委托合同受到的损害，就委托人而言，通常是受托人未完成委托事务而解除合同，委托人自己不可能亲自处理该项事务，而且又不能及时找到合适的受托人代他处理该委托事务而发生损害的情形；就受托人而言，是指由于委托人在受托人处理委托事务尚未完成前解除了合同，使受托人因不能继续履行义务而少获报酬。
受托人处理事务不尽注意义务，怠于处理委托事务，委托人无奈而解除委托合同，虽会给受托人造成一定损失，但因解除合同事由不可归责于委托人或者不能完全归责于委托人，委托人对受托人因合同终止而遭受的损失不予赔偿或者只赔偿其部分损失。
因此，委托合同是可以随时解除的。
法律依据：
《中华人民共和国合同法》第四百一十条?【任意解除权】委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。