无树）并声称建房的地方不在8亩合同地之内,所以不占我的林地,请问这种说法合理吗？

各位律师：
我有一块退耕还林的林地。林权证上是8亩。但当时承包时（1998年）村委会说地头会被牲畜破坏。就多给了半亩地。（这也是当地的普遍现象）现在有人在我的林地地头建房（因地头的树被牲畜破坏，无树）并声称建房的地方不在8亩合同地之内。所以不占我的林地。请问这种说法合理吗？我究竟该不该让他建房。

关键是建房是否有合法的手续。