我结婚三次了,第二次结婚女方带一小孩离异后跟女方,这次结婚女方也是离异者?

我结婚三次了，第一次有一小孩离异后判给女方，第二次结婚女方带一小孩离异后跟女方，这次结婚女方也是离异者，女方离异前有一小孩判给男方，现在我们想生小孩，可村里说我们按第三胎罚款，我想得到法律方面的咨询，请尽快回复我！

如果实在愿意生一个，那生好了。认合法的罚款就是了。如果处罚不合法，行政诉讼。