房子下了offer,交了deposit,現在想withdraw offer,錢能要的回來嗎？

之前在網站上看中一處las vegas的short sale的房子，下了offer,交了$3500的earnest deposit. 後來buyer agent去看了房子，說太舊不值得買，但是deposit已經被agent的老婆不小心交到了title company那邊。 agent 建議是等一個多月再告訴對方要cancel deposit check， 否則不好，具體為啥不好，我也不懂，猜測是對他自己不好吧。請眾位大俠們幫我出出主意，是該聽agent的話，等一陣子再找對方要錢，還是現在就直接要求對方不要存這張check.  如果對方已經存了的話，錢還好要回來嗎？  謝謝了