如果不交,企业有没有权利扣押我的养老保险手册？

尊敬的律师：
您好，我于2007年12月29日被公司以除名的方式解除了劳动关系，我在单位已经4年不上班了，因为单位没有岗位安排，我就一直在外面自己打点零工。这四年来单位一直在帮我交养老保险，我想咨询的是：劳动关系解除后，这四年的养老保险应该由单位负责的部分(即20%的部分)是不是也要我交回企业，如果不交，企业有没有权利扣押我的养老保险手册？谢谢！

这四年的养老保险由单位负担的部分单位无权要求你交回，单位也不能以此为由扣押养老保险手册