委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。但是合同中约定不适用任意解除权的除外。
委托合同是以双方信任为存在的条件，如果一方不守信用，失信于另一方，继续履行合同已无必要，法律赋予了双方当事人的权利，即只要一方想终止合同，就可以随时解除合同，而且不须有任何的理由。委托合同的一方当事人解除委托合同而造成对方损失的，应当承担赔偿责任。受托人处理事务不尽注意义务，怠于委托事务的处理，委托人无奈而解除委托合同，虽会给受托人造成一定损失，但因解除合同事由不可归责于委托人或者不能完全归责于委托人，委托人对受托人因合同终止而遭受的损失不予赔偿或者只赔偿其部分损失。
所以，委托人可以随时解除委托合同。
法律依据：
《中华人民共和国合同法》第四百一十条?【任意解除权】委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。