把钱扣在中介,并且扬言要我赔偿佣金作为违约金,请问,我的诚意金可以要回吗,我是否需要交纳违约金？

各位法律专家，你们好！
我是于2008年3月份在中介签订了一份买房协议（是一份3方协议，买房、中介、业主），并交纳了5000元诚意金。但是后来由于个人原因我不能购买此房，我与业主沟通后，业主同意返还我的诚意金，中介也同意返还，并且签订了返还协议，但是后来中介以“公司法律部不同意返还”为由，把钱扣在中介，并且扬言要我赔偿佣金作为违约金。请问，我的诚意金可以要回吗，我是否需要交纳违约金？十分感谢！

既然已经达成了返还协议,就应当全部返还,中介公司无权扣押该笔钱,你不需要承担违约金