中介也要告我们,要我们按意向书中的条款付他们总房价的2%的违约金,我们要付这个钱吗？

各位律师：
您好，我于本月09年1月10日经中介推荐看了一套125万的房屋，当时对房屋的品质比较满意，就是对交通提出了异议，认为上班交通不方便，中介为了促成这个买卖，告诉我们从小区内穿过去到地铁口只要15分钟不到，当时信了中介的话，于是就和中介签了一份购房协议书并交了5000元意向金。第二天当我考察是发现那里离地铁很远，需要约30多分钟，于是决定不要这套房子了。晚上中介打电话来要求我们去签购房合同并补齐10万元定金，我因有事没去。第二天去了和中介说了我们不想买这套房子的意愿，中介说对方已经签收了意向金并转为定金了，如果我们不买就是违约，要承担相应的法律责任。请问是这样吗？意向金还能要回来吗？现在房东要告中介，中介也要告我们，要我们按意向书中的条款付他们总房价的2%的违约金。我们要付这个钱吗？

如果能证明中介有此承诺，就不属于违约。但是口头承诺的证明比较困难