國內的租房合同糾紛

我國內的房子。租給一個人，合同寫著不允許轉租。那個人給轉租了，而且租給了五家人合住。我想終止合同，那個轉租的人居然要我賠錢。