求助：買房遇到不良賣家，怎麽辦？

這是第一次買房，合同已經簽了，現在處於辦理銀行貸款階段，如果順利，月底closing。但前兩天我們突然發現銀行提供的評估報告顯示房齡是50年，而之前我們得到的所有材料上房齡是30年，我們要對方做出解釋，對方agent說不清，隻說房主提供的房屋保險單上說房齡是30年，我們不能接受這個解釋。我們開始並不想放棄這個房子，因為位置比較好，價位也合適，inspection也沒有太大問題。如果賣家能誠心道歉，並給我們一些賠償，我們也就算了。沒想到我們發了幾次電郵，賣家都沒有回音，而我們的agent也很氣人，說這隻是個misundersting，如果我們放棄了，買不到比這個更好更合適的房子了。權衡之下，我們通知agent我們決定退出。今天接到agent電話，說對方要告我們違反合同，要force我們買這個房子。因為我們來美國才三年，不太清楚這邊的法律，雖然感覺這裏有點嚇唬我們意思，但仍然不放心，請問大家，我們應該怎麽應對？此外，我們怎樣要回我們的deposit？