根据相关法律规定及司法实践,离婚时男方要求退还彩礼,女方是否应当退还需视具体情况而定。如果双方未办理结婚登记手续,或者办理结婚登记手续但确未共同生活,又或者婚前给付并导致给付人生活困难的,女方应当退还彩礼。对于“双方未办理结婚登记手续”,很好理解,即没有领取结婚证的情况。“办理结婚登记手续但确未共同生活”,要综合考虑双方共同生活的实际时长、生活状态等因素来判断。而“婚前给付并导致给付人生活困难”,需有明确的证据证明因给付彩礼致使给付人生活陷入困境,比如无法维持当地基本生活水平等。在司法实践中,法院会根据双方提供的证据、实际情况等进行综合审查判断,以确定女方是否应当退还彩礼以及退还的具体数额。所以,女方应根据自身实际情况,结合法律规定来应对男方要求退还彩礼的主张。
以上是律师的法律建议,如有疑问,欢迎进一步咨询。