现在他要毁约,说是当年他只与我交换建房的土地,剩下的应归他所有,请问着块地应归谁所有?

我家在二十来年以前和他人交换了一片土地建房，并且一直经营一块建房后剩下的菜地，现在他要毁约，说是当年他只与我交换建房的土地，剩下的应归他所有，请问着块地应归谁所有

互换承包地应当有书面协议,没有的不能对抗登记(承包权证)