占用我家房屋外墙土地,请问有没有办法制止其行为?

邻居在我家旁边建楼房，占用我家房屋外墙土地，请问有没有办法制止其行为。具体情况是邻居的房子有一面墙是建在我家房屋里面的（以前考虑到他们建房子没地皮就让了一部分让他们建，而现在却说那块地是他们的，现在他们旁边重新建房子却仍然占用我们以前让给他们的地方）

既然你们以前已经让给他们的土地，那么现在就是他们的了，你不能再把该土地要回来，也不能以这个理由来阻止建房。