要求按愿协议执行,同时把大房子的居住权归我,小房子的居住权归他,是否可以？

律师：你好！
   我和丈夫离婚了，有离婚协议，协议如下：两套房子，归儿子，大的他居住，小的我居住。儿子归我抚养。现金平分。贷款两个人一起还。现在，他要求修改协议：大房子归儿子，小房子归我(价值四十万，其中十四万贷款未还)。贷款他不支付，由我一个还(还有十四万元未还)，离婚款(九万元)他也不愿给我。大房子的居住权他也不要了。
  请问：他不肯按协议执行，如果我起诉的话，我是否可以要求重新进行财产分配，并要求多分配财产，因为我们离婚是因为他有外遇？
  另：如果我起诉，要求按愿协议执行，同时把大房子的居住权归我，小房子的居住权归他。是否可以？(因为我们离婚是因为他有外遇造成的)

要求多分财产，须有对方过错的证据。如对方有外遇，建议收集这方面的证据。建议请律师协助。如您认可，请点击采纳意见，谢谢！