搭車問一個fence的問題

出租房，有個鄰居， 關係不錯， 不知道什麽時候建了一個fence, 沒有和我打招呼。因為地都不大， 所以fence靠房子比較近， 問題是fence明顯在中間線靠我的位置。我的問題是，我倒不是介意fence太多，我是擔心會不會幾年後對方既成事實， 法律上就占用了我的地。我沒有做過survey.

請問我如何為好？ 謝謝。