我们拆了的损失谁负责,我们的利益谁来管,现在综合执法已经不管了,街道也不管了,我们还用不用拆？

我97年买了套带露台的房子，由于旁边就是海河边，有安全隐患就把露台封上了。现在小区改造要加保温层，让我们拆除，但是由于牵扯的住户太多，综合执法和街道最后都说不拆后面就不加保温层了。
楼上有户邻居说我们为了个人利益损害他的利益，非要告我，还说诉讼费让我出。
我们拆了的损失谁负责？我们的利益谁来管？现在综合执法已经不管了，街道也不管了，我们还用不用拆？
而且我们是在2楼，没有普通的阳台，只有露台，不影响任何人！

可以不拆