13的房租不会退给我们(1500元压金,应退房租总计2500元),请问韩律师,我该怎么办？

我借住在浦东杨家镇，借住的两室一厅房子合同是从2008年04月13日到2009年04月12日。因房东讲房子要收回他儿子六月中旬要从日本回来结婚用，在4月12日房东讲我们可以住到6月中旬，当初我们也考虑到如果合同期到就搬走房东房子也会空两个月，所以就说好如果找到合适的房子就搬走，房租多退少补，同时我们付房租也是付到6.13日的，在5.16日房东打电话说他儿子确定了要回来，我当时就跟他讲如果找到合适的就搬，房东同意，在5.18号我们看中了隔幢楼的房子(比较适合，搬家也近)，当天打了电话给房东说在5.23准备搬家，他同意，说周日来结算；同时我新的房子签了合同并付了租金，可在5.20房东打电话来讲我们搬得太早，5年24月6日。13的房租不会退给我们(1500元压金，应退房租总计2500元)。
请问韩律师，我该怎么办？

如果没有签订书面的租赁合同，视为不定期的，可以随时解除，但应当提前告知，可以要求对方返还