要我坐到这些人家里要,请问我该怎么处理这件事情,我该要求谁对这件事情负责？

我于2003年承包了8户农民的集资房，当时合同是和8户中的一个代表签订的。代表是由建房村民和村委会推荐的。当时一部分的集资建房款也是有村委会统一管理的。2004年年底房子建好以后村委会以村民缴纳的集资款已经全部用完为由，要我分别向8户建房者讨要拖欠的工程款。2005年还讨回来了一点，2006年一分钱也没有要回来，在这两年中间，村干部曾要求集资者拖欠的集资款。2006年过年的时候村委会对我说他们没有办法要到钱，要我坐到这些人家里要。请问我该怎么处理这件事情？我该要求谁对这件事情负责？

建议拿材料过来面谈