改判孩子的抚养权,请问各位律师,像这种情况下我应该怎么办,一定要带小孩在身边才算尽到义务吗？

因性格不合，和前妻协议离婚。我净身出户，财产和房子全给了她，小孩由我抚养。
至今二年，前妻未付过一分钱抚养费。
因诸多原因，我在外工作，小孩没带在身边。小孩一直由我父母照顾和读书。
现今，我重组家庭。考虑到经济和工作尚不稳定，没把小孩接出来和我们一起生活。
但前妻打电话威胁我：如果不把小孩带在身边读书，就去妇联告我，说我没尽到义务和责任。就到我爱人单位闹。就到法院告我，改判孩子的抚养权。
请问各位律师，像这种情况下我应该怎么办？一定要带小孩在身边才算尽到义务吗？

建议你们协商解决，双方都要关注小孩的健康成长。