他拿到撫養權是不是就意味著可以隨意動用我留給孩子的財產？

這是最關鍵的。沒有好處他根本不會要孩子。