污染引起5G与反开3Dmimo站点速率突降事件分析

现象概述

在进行4/5G网格拉网测时经过牛杨工业区附近4/5G同时下载速率骤降速率4G下载速率只有0.1Mbps，5G下载速率也仅为9Mbps，通过log分析发现终端占用工业西路三D-HRH与工业西路三RD-HLH，经后台查询，其他所有指标均正常，唯独下行用户速率异常。

图1用户上下行速率折线图
问题分析：1、掉包与错帧核查发现该站点的掉包率和错帧率高。需要进一步确认错包率与丢包率高的原因图2丢包与错帧率网管截图2、核查故障与告警：该站点三个AAU一日之内产生多次光模块接收光功率恶化告警，怀疑该站点光路异常。图3 光模块接收光功率恶化告警其中AAU-152号在5天内反复出现链路闪断问题，从AAU告警和日志上分析，导致该告警产生的原因倾向于物理链路存在异常；图4：反复出现链路闪断3、为了确认导致该告警的原因是否与光模块厂家有关，我们统计了光模块厂商与光模块异常情况，根据厂商异常光模块的比例统计，大部分厂家异常数与安装总数呈正相关，异常比例在6-8%之间，与厂家品牌并没有明显的相关性。表1光模块厂家与光模块异常比例统计解决方案：1、上站排查：通过后台的指标和告警分析，我们初步分析是光路存在异常，为此联合器件公司和主设备商上站进一步排查：（1）排查步骤：排查RRU侧光模块情况→排查BBU侧光模块1331的端面情况→复测业务性能。（2）排查结果：对模块的端面清洁情况进行检测，其中故障（1311）线路的一只光模块，确认端面脏污严重，一颗灰尘刚好遮挡光纤中心，及光信号敏感区。初步判断是光模块端面有粉尘导致光模块接收光功率恶化告警掉包率高，下载速率异常。
图5 光模块脏污情况检测（3）验证操作：将污染严重的光模块进行端面清洁及软件升级，重新插回机架（4）验证结果：将RRU和BBU侧的彩光模块进行固件版本升级（为兼容华为设备），并对模块端面进行清洁，移动工程师现场监控最少30分钟，速率可达700多M，丢包现象与光模块接收光功率恶化告警消失，至目前站点运行正常。问题总结：1、在5G新建、反开3DMIMO替换过程中，由于施工环境恶劣及施工队伍缺少灰尘对光器件影响的知识储备，造成部分光模块、尾纤在安装过程中出现灰尘污染，造成错包/错帧数偏高，小区上下载速率偏低的情况。建设使用无尘纤维纸\便携式断面检测仪用于处理此类情况。2、由于光模块是无源器件，没有指标监控，目前缺少批量手段排查哪些已替换站点存在此类问题。建议通过辅助排查手段排查。辅助手段：监控速率相关指标、修改告警门限让其触发CPRI闪断告警（告警量增加数量大，影响维护相关指标；触发告警初步确定是否是光模块问题）。