先协商不通,对方要我赔1万元,我想知道则么能不借给他,如要付违约金,多少合理？

各位律师：
我有一房借给他人。因一开始不懂，合同写了6年，现已过1年。现因个人原因，想把房收回。
合同上没有写明违约条款。
先协商不通，对方要我赔1万元。
我想知道则么能不借给他。如要付违约金，多少合理？
房是11平方小房子，月租金900元。
房客有许多陋习：拖房费，邻居关系不好，在外面随地大小便，没有固定人居住（只写给3到5名员工住）。

如果经常拖欠房费的，累计超过六个月的，你可以起诉解除合同。如果合同写明的给3到5名员工居住，而对方违反的话，也可以要求解除合同。如果需要帮助，可以与我联系。