双方的合同也不愿意销毁,请问合同不销毁,单位是否在合同期间可以向我追究法律责任?

尊敬的律师：您好！我与一家用人单位签订2年的合同，现在合同没到期，我提出辞职，单位同意，而且不退回我交的2000元押金，双方的合同也不愿意销毁！请问合同不销毁，单位是否在合同期间可以向我追究法律责任，例如：矿工，违约等。谢谢

押金应当退回可以要求单位出具解除合同的证明