打官司对方该回避没回避怎么办

感觉《民事诉讼法》第四十七条的规定：
1、当事人提出回避申请，应当说明理由，在案件开始审理时提出;回避事由在案件开始审理后知道的，也可以在法庭辩论终结前提出。被申请回避的人员在人民法院作出是否回避的决定前，应当暂停参与本案的工作，但案件需要采取紧急措施的除外。
2、人民法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员，不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。