协议中约定购房款十二万元由我支付,他表示愿意退还购房款十二万元和已经支付的转让费六万元?

    2005年我亲戚的单位集资建房，我通过我亲戚找到他们单位的一个有购房指标的同事订立了一个集资房指标转让协议（如果按照当时的房价这套房子价值26万），协议中约定购房款十二万元由我支付，同时向我亲戚的同事支付转让费八万元，签字后支付其六万元，拿到钥匙后的三天内再支付剩余的两万元，并在3年后房子可以过户时协助我办理过户手续。       
    上个月房子落成，由于我亲戚的同事出差，我是通过对方的母亲拿到了钥匙，但我在拿到钥匙后的三天内没能支付剩余的两万元（这两万元至今也没有支付）。不久前对方通过我亲戚向我提出翻悔，称转让费与房屋价值相差过大，当初转让时由于我是他同事的亲戚就没有评估房子的价值，而今房子下来后才得知这套房子当初的真正价值，他称我是不正当得利，因此坚持不愿意转让这个房子了，他表示愿意退还购房款十二万元和已经支付的转让费六万元，并按照银行利率双倍赔偿这十八万元的利息。我没有同意，因为现在房子已经涨价，我用十八万已经不能再买到相同地点的房子。对方后来书面通知了我不愿意继续转让房屋，并更换了房屋锁，后又通过邮局给我汇来

可以起诉对方继续履行合同.律师代理费用由双方进行协商.