难道上家一直不同意终止合同,这每日的违约金有一天算一天,一直拖下去,我该怎么办？

我想请教一下律师：我购买了一套二手房，贷款一直贷不下来，我是不是可以要求退房，但上家一直不同意返还首付款，由于合同上我有付款责任，违约的话我要承担每日未付款的万分之十的违约金，难道上家一直不同意终止合同，这每日的违约金有一天算一天，一直拖下去，我该怎么办？！！

想办法协商解决，如协商不成，可以通过诉讼解决。