是我想多了嗎？

請問： 

我的現任把他手中的一套投資房出租給了他的前任。有中介公司每月收租。這樣做是為了孩子上學方便。他們有一個女兒。女兒大部分時間跟媽，母女倆就租住在我現任的這套房子裏。我和現任一起五年了，住在一起，打算將來結婚。問題：因為他比較handy, 現在出租房那裏有啥亂七八糟修修補補的，他就親自出馬。他不願中介找工人，主要為了省錢，這個可以理解。但是，他這樣經常要跑到前任家裏去，讓我心裏有點難受。當然，我知道他不會有什麽越軌行動，但是... 畢竟...  

你們怎麽看？是我想多了？