可是他一家总无理取闹,他儿子说；如果我建房,他就,判坐三年牢都不怕,请问；我该如何处理呢？

各位律师：
我在乡镇卖了一块宅基地，已办了国有土地使用证，准建规划许可证。建委办已放线，测量。但，邻里的一家却以阻路为名，不准我建房。事实很明白，因为他是本地的，在我宅基地侧面有一条小路及一小块空闲地。空闲地是他生产队集体所有，他想占他的，他现已租赁给王二加工木材。我已报村委，生产队长去与他说理，可是他一家总无理取闹，他儿子说；如果我建房，他就。判坐三年牢都不怕。请问；我该如何处理呢？

如果村委会不能调解，就到法院起诉