我想请问一下：他有权力跟我争儿子的抚养吗？

   今年儿子已经三岁了，在儿子还不到满月时他爸爸就有了婚外情。当时已经谈定了离婚，双方也签了离婚协议书，儿子归我抚养，每月他才交300元的抚养费。
   我们是在河源结婚的，但我是惠州人，从儿子满月以后我就一直带着他住在我父母家，小孩的爸爸在深圳工作，从那时到现在一直他都说没有时间回去签字，就拖到现在。我想找律师跟他打官司，可我又怕他跟我争儿子。从儿子满月到现在，他除了每月给儿子三百元的生活费，其它的他什么也没有理过我们母子，而且也很少过来这边看望儿子。
    我想请问一下：他有权力跟我争儿子的抚养吗？谢谢！

孩子的抚养一般考虑有利于孩子的成长，几年来孩子一直与你共同生活，已结下了深厚的母子感情，如果判归男方抚养对孩子的成长不利，如果你身体健康、有稳定的收入有能力抚养孩子，抚养权应该归你，另外，你丈夫因有第三者而与你离婚，你可以要求损害赔偿。