要从我的押金中扣除半月月租,但是没有他人在场,请问我是否要为这样的气话负责人？

我以前房东找不到新住客要求我延长租赁合约，但是我已经和其他房东签订合约。被他纠缠气愤之下说了一句气话：那我给你半个月的房租，可以了吧！当时的心态其实是你的算盘打的真是好！ 可是房东抓到把柄说这是和他的口头协议，要从我的押金中扣除半月月租。
但是没有他人在场，请问我是否要为这样的气话负责人？

没人在场就没必要认这事，另一方面合同到期你当然可以不再续签合同