押金能要回来了吗,他们开始说交了5000押金要是不买房子就不还给了,他们有这个权利吗？

你好，冷东律师：
我在家这边河东一处买了一套房子，由于看好先交了5000元钱的押金，可是，他们房子实际没那么好，而且结构也很差，我现在想换别的地方这个房子不要了，押金能要回来了吗？他们开始说交了5000押金要是不买房子就不还给了，他们有这个权利吗？

看合同如何约定,如果没有约定,又不是定金应该返还.