《工程建设项目施工招标投标办法》规定，招标人最迟应当在与中标人签订合同后五日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
《中华人民共和国招标投标法实施条例》规定，招标人终止招标的，应当及时发布公告，或者以书面形式通知被邀请的或者已经获取资格预审文件、招标文件的潜在投标人。
已经发售资格预审文件、招标文件或者已经收取投标保证金的，招标人应当及时退还所收取的资格预审文件、招标文件的费用，以及所收取的投标保证金及银行同期存款利息。
招标人和中标人应当依照招标投标法和本条例的规定签订书面合同，合同的标的、价款、质量、履行期限等主要条款应当与招标文件和中标人的投标文件的内容一致。招标人和中标人不得再行订立背离合同实质性内容的其他协议。
综上所述，如果投标人不存在法律规定的没收保证金的行为，则招标人最迟应当在书面合同签订后5日内向中标人和未中标的投标人退还投标保证金及银行同期存款利息。
法律依据：
《工程建设项目施工招标投标办法》第六十三条
招标人最迟应当在与中标人签订合同后五日内，向中标人和未中标的投标人退还投标保证金及银行同期存款利息。