已交10000元,我想咨询一下,我们是否违反了计划生育法,罚款有依据吗？

我和前妻93年结婚但没有办理结婚登记，到2000年双方分手了，因为在此期间，女方没有生育能力，于1996年抱养一个遗弃的女婴，2005年我与一离婚的女子又组成新的家庭，女方有两个子女都判给男方了，我们有生了一个孩子，现在计生部门要罚款47000元，已交10000元，我想咨询一下，我们是否违反了计划生育法？罚款有依据吗？急盼！谢谢！

不知道,女婴由谁抚养?