但他并不照上述所说的退还我们中介费,请问是不是照（租房合同中）我们不应当搬离,或是要赔偿损失？

是这样的，我从中介租了一个房子，合同期是一年，可是我们才住半年对方就要求我们搬走。理由是这房子不是他们的，房东要收回该房。租房合同说得很清楚，在我们拖欠租金情况下才会提前让我们搬离。而且《租房合同》中有也有说甲方在承租期未满而不再出租，应提前通一个月通知已方，除退回已方未满付款期的房租款外，还应赔偿已方金额租房的中介服务费。但他并不照上述所说的退还我们中介费。
请问是不是照（租房合同中）我们不应当搬离？或是要赔偿损失？

你指的甲方是不是房东,如果是你不用搬走,如不是则要看甲方是否有房东的授权或许可.