网络丢包请求超时（网络故障洗冤启示录之----外网丢包故障前前后后）

最近事情稍微多了一些，就没空整理文档了，但解决的网络故障天天都在经历，每个环境下的网络故障都不一样，每次的故障都是一次经验的积累，靠经验消化归纳总结

最近这个客户的现场网络环境故障问题个人觉得有一定的总结意义，特此整理发布出来，供大家一起讨论

交代一下基本信息

这个客户是在深圳的某个产业园，更换新的办公室地点，新办公室乔迁，办公室网络重新规划新建的一个项目，整个公司项目有线点位600 ，再加无线WiFi覆盖， 一共两层，外网为电信，6条1000M宽带，11层分配4条，10层分配2条，都是拨号的ADSL线路，上行50下行1000M，测速都能跑满千兆宽带

经过前前后护半个月的施工周期和调试，新办公地点网络已经有了，基本的网络结构如下：

两层的网络结构都一样，出口网关做多线拨号汇聚叠加负载，内网划分了不同业务的vlan，无线单独一个网段，内网所有的终端都通过出口路由网关来自动获取IP地址上网，一个很典型的网络结构

但是，客户从旧办公室搬迁过来后，运营了一周左右，发现了网络存在重大问题，网络不稳定，上班高峰期的时候，外网时断时续，ping外网丢包，而且还延迟非常大，严重的时候基本是没法用了，客户现场怨声载道，如图：

延迟不稳定，还丢包

那么问题就来了，新建办公室的网络调试的时候是没发现问题的，当时也和客户那边的网管做了一个搬迁之前的网络接收验收，均满足要求，但为什么整体搬迁过来后网络就不行了，问题出在哪里？

眼看问题远程是解决不了了，期间前前后后驻客户现场都去了好几次，经过我蹲点测试和验证结果如下：

1.测试本地内网是没有任何异常的，内网没有环路、没有IP地址冲突、也没有arp的问题，测试ping网关一切正常，内网访问内部服务器均正常

2.出现问题的时机有点诡异，早上8点以前，公司上班没什么人，没有到高峰期，也是一切正常，但到了9.-10点左右，上班的高峰期来临，网络开始出现上图的情况了

3.经过测试，从路由的外网口ping到运营商的网关IP地址，就已经开始不稳定了，别说访问其他外网资源了，但还是不能定位到具体哪个环节的问题，中间也给电信的装维师傅叫过来，查线路的光衰，-18和光，也是在正常之内，线路是没问题的，电信的装维师傅只能检测处理线路和光猫的问题，其他的他们也不懂，他们只会让你单机去测试，单机测试没问题他们就不管了，这哪叫解决问题的路子，单机不用测，接到路由上电信的装维师傅就说是你们自己设备的问题了，给他看了检测信息，他说是正常的

经过一番的测试找到了疑似是光猫的问题，但电信的装维师傅说这个是正常的，正常的，正常的····

这个问题已经拖了三周了，我司老板也发飙了，亲自过问这个项目进展，找到我，现在的问题出现在哪里，我如实的和老板说了前因后果，老板来了句，不要动不动就怀疑说是运营商的问题，可以问问老同事借鉴一下经验，因为那会儿我还没转正，老板也下达了解决问题期限，客户那边也是被网络整的鸡飞狗跳，客户那边的老板都坐不住了，电信那边的客户经理，一个劲的说自己这边没问题，都是设备的问题，电信不可能有问题的，没办法，我们做为设备厂商，太弱了，什么问题都是我们去查，我们设备也换了，什么都换了，还是一样，这时候我跟客户的网关私下说，要不你打工信部投诉电话吧，兴许有办法，说完当天我就走了，高潮来了，晚上客户那边的网管跟我说，当地片区的电信经理匿名帮他忙打自己电信的投诉电话了，明天会来人查问题，说明天还要过去一趟一起解决问题，我第一感觉，终于有救了，还得投诉管用

第二那天按照约定的时间点各方的人员都到了

这次电信从上一级调了一个专门做解决网络故障的技术支持，不再是装维师傅了，当然装维师傅肯定到现场了，然后我给前因后果再讲解了复现了一遍，电信那边也没话说，然后经典的来了，片区的装维师傅瞧瞧嘀咕了一句，说以前也遇到这样的问题，后面是更换了一个光猫解决的，眼看也没其他办法呀，电信就去找还有没有这样的光猫，当天也是巧了，恰好有一个，二话不说，直接换上，电信那边一顿神操作，路由正常拨号连接，获取IP，更改外网线路策略，让这条线的负载满上，再测试，好了，问题解决了

ping测试也不丢包也不抖动，延迟也正常了，稳如老狗····QTMD DX

但当天电信只有一台这样的光猫，被换下来的是天邑光猫，电信说是最好的光猫，全千兆的，更换的光猫什么牌子我当时忘记拍照了，当天没多的光猫了，只能下次来更换了，这天是周五，电信在下周一给其他的光猫全部换掉后，这个客户的网络故障问题彻底解决，据后来客户那边网管说，客户的老板给那个装维师傅和片区电信经理足足骂了半天···

一句话：因为电信配发的光猫稳定性问题导致外网不稳定，更换后彻底解决

总结：

1、千万不要相信以为所谓的运营商装维师傅有多专业，他们能做也不多，遇到既不负责任也不专业还脸皮厚的装维师傅，直接投诉走起

2、网络故障排查是一个经验积累的过程，需要大量的案例去积累，事后做好归纳总结，经验也不是万能的，经验也有时候会误导

3、别人不相信你的时候，自己要相信自己的判断，大胆假设，小心求证，多多学学