难道因为男方没有签字,就能要回房产吗？

我买的房产因签协议时男方（房屋共有权人）没有签字，现在想要回房产。
签协议时女方（房屋所有权人）签的字，我把钱交给女方，女方把土地使用证、房屋所有权证、房屋共有权证都交给了我。
请问难道因为男方没有签字，就能要回房产吗？

得看具体情况