鲁谷联通机房(鲁谷机房参观)
从圆明园花园别墅打的士到鲁谷机房23分钟,机房很好找,虽然第一次来,招牌上写的也不是机房而是创意中心,但是有点经验的人一眼就能知道这里面不是数据中心还能是啥。
到达鲁谷机房门口,鲁谷机房是中国联通北京分公司按照TIER4标准建设,投资十亿元,机房占地30000平米,目前分9个模块,每个模块374个机柜,机房总容量3000机架,制冷采取水冷制冷方式,每机柜配电13A。2012年刚刚完工,机房处于北京地区超新超豪华。
北京寸土寸金的地方,想腾出一块地方建机房还真不容易,北京大的机房都是某某厂的前身,最深刻的莫过于鹏博士在酒仙桥建的亚洲最大的单体机房,6000个机柜,总装量80000台服务器,前身是松下彩管厂。
鲁谷机房的前身,北京显像管总厂
一进门发现很多穿蓝色小褂子的年轻男女,莫非这里还在产显像管?经询问后得知,原来联通把整个10010北京的呼叫中心都给整到这里来了,看到的蓝褂子都是KFMM们。。。 映入眼帘的先是这9个大家伙。机房配备的柴油发电机组,当电力中断时使用,鲁谷的电力供应SLA为99.99%。再后面应该是机房专用的变电站,电源分三路从发电厂输送到变电站。
后备柴油发电机组:9台1300KVA柴油发电机组阵列备份,总容量11700KVA,在三路市电同时意外断开30秒之内自动切换。
运气非常好,赶上了柴油发电组的演练,由于怕长期不使用到真使用的时候起不起来,所以每个月的第二个周五会进行一次演练
联通鲁谷机房
机房记不清楚是几号楼了,一共4层,全部是机房,在大厅登记,看看之前登记的人,五个新浪的,两个搜狐的,三个搜狗的,其他的都没仔细看。之前在新浪是没听过鲁谷机房的,询问后得知新浪在这里拿了一整个模块,374个机柜,20Gbps的联通带宽,但是使用率很低。 一楼大厅地上堆了目测至少15堆机器,一堆大概有10台左右,全部是Dell的C2100,不知是哪个公司这么大规模的上机器,不过C2100好像现在都是二手机了。电梯很大很霸气,不过是国产品牌西子奥迪斯,载重1.x吨,具体给忘了。 三楼是个走廊,跟宾馆走廊一样的布局,两边都是房间,有的房间是机房,有的房间是值班室,互联通的值班室是其中的一件。
到达互联通的值班室,每天至少有三个哥们值班。
联通鲁谷机房
接我进来的那个哥们凶神恶煞的,一直狠狠的抽着烟,见面了直接冲我说了一句,“胥昕是吧?”然后一路上没有任何交流,这也是为啥一路上很多东西只有文字描述没敢拍照片的原因,带我到值班室之后让我自己等着。值班室隔成了两半,一半是一个茶几两个沙发对着,应该是客户来上架设备的等待区,然后还堆着各种待上架的设备。另一半有十几个工位,大家电脑上都是各个大客户设备和拓扑的监控
堆的都是客户寄过来的设备等待上线,白板上是大家开会的结果,要做的工作计划和内容,另一边就是工位了
地上各种光纤和网线还有测线仪器
刚来的时候三个哥们坐沙发上拿着笔记本叽叽喳喳的,后来仨人走了之后留下一台笔记本在沙发上,我一个人在这里闲坐,细看了堆在地上的设备。
Dell PowerEdge R720,双路E5-2650 v2,内存192G,8块600G的SAS,莫非也是跑虚拟化业务?
联通鲁谷机房
这超豪华配置是“世纪禾光”从光环新网的东环机房迁移过来的。光环新网是北京的大型独立IDC,有全国IDC和ISP资质,今年应该会国内创业板上市,1999年起家,2000就拿到了ISP资质,2002年开始建自有机房东环机房,2007年才建成,然后靠东环拿到了全国ISP资质。询问后得知,鲁谷机房到东环机房铺有专线
笔记本上亮闪闪的Excel,当我瞎呢,不是引诱我去偷看么。。。
偷拍某工程师的笔记本,应该是91的哥们过来上线,笔记本扔这里可太疏忽大意了啊,离开不锁屏,大忌!可以看到一个传统的互联网公司的传统设备明细管理方法,没有CMDB的公司就是惨啊。R420和R720是主流,看来91的游戏业务分布在鲁谷、世纪互联M6、中电华通、世纪互联B2B,还有AWS?
等了十分钟熟人终于来了,直奔机房,先看网络设备,了解基本情况。
整个模块的核心网络设备,由4台Brocade TurboIron 24X组成,一共96个10Gbps端口。
相邻机柜是互联通的管理机器
Brocade TurboIron 24X的肉身特写
又是非常lucky的事情,正好赶上容纤,互联通在鲁谷有两个模块,第一个模块374个机柜已经全部用完,目前正在将第二个模块与第一个模块打通
接下来可都是某cloud的设备了,这次就是奔着他来的,先看服务器情况
某cloud在这里一共三个机柜,这是最左边的,右边两个机柜都是。从正面看有两种机器,一种是R720,一种是R420。R420只有3台,剩下的20多台均为R720,一共有33台机器。矮油,最左下角的C6100乱入了喔!
R720的特写,看得出来是满盘状态的,每台机器16块SAS插满,最上面露出个大屁股的是某cloud的TOR,三个机柜只有两个机柜有TOR
背面得到了更多信息,其实是有三种机器,这是第一种:一个万兆 一个千兆的R720。冗电1100W,看网卡布局应该是x520 i350的方案,注意iDRAC上居然没插线。机柜内插座排提供带卡紧装置的20位欧标插座,其最大承载电流为25A。
这个机柜可以看到另两种机型,一种是两个万兆 一个千兆的R720,一种是两个千兆的R420。
某cloud一共只有三台R420,三台均是8块SAS插满。
服务器情况了解完毕,来看看网络情况。其实先让我震惊的是某cloud的高富帅形象,TOR直接用了核心系列交换机,其次是全光网。然后就是颇令我震惊的走线规整,后来才知道原来客户只需要提部署需求,走线都是互联通免费处理,赞一个!
先看型号,华为的Quidway S9303,属于核心交换机,4U。
第一台TOR,空闲一个模块,用了4个模块,两个模块各32个10Gbps端口,剩下两个好像是管理模块。电源是冗电。
第二个TOR,同样四个模块,空闲一个。两个管理、两个冗电不变。第一个模块是24个千兆口,第二个模块是12个万兆口。
华为Quidway S9303的大屁股。
突然想到三十多台机器使用一个24口的千兆交换,而且没插满,不太对啊?仔细找寻之后又发现一台夹在服务器中的华为24口千兆交换,1U。
机房的配电系统的敷设方式为通过机柜上方的开放式桥架走线,每机柜的电缆线径不小于4mm。机房的市电保障为30000KVA三路市电,高压供电来自两个不同开闭站的纯双路系统,每机柜最高保证3.5KVA电力供应,但每个机柜实际限电13A,左右两侧各6.5A。
图中上方黄色桥架为机房的配电敷设,可以看到红色的火线,从电流表看出,某cloud基本是满载运行,电流表下方是机柜配电,火线零线地线清晰可见。
回到值班室,参观了一下互联通的监控系统,可以对每个大客户的机柜和网络信息进行监控,同时偷调出某cloud的网络监控,发现业务量还是非常大的。2013年10月上线,一上线当天就有50Mbps的业务,可见销售渠道在上线的时候就已经把客户搞定了的。某cloud一共买了300Mbps的带宽,峰值220Mbps,平均120Mbps。
分别是周、月、年的监控数据,业务模型非常奇怪,in和out的带宽基本相等。排除了游戏、电商的可能。
分别为日、周、月的监控数据,从日监控数据来看,非常奇特,in为典型的在线业务模型。从下午2点之后开始业务增长,晚上下班吃饭时间回落之后一直到晚上9-10点迎来全天高峰便开始回落,凌晨4点达到全天最低谷,6点之后开始恢复业务。最奇葩的是这是in的流量,而out的流量全天保持持平,百思不得其解。
这个节点并不是联通的骨干节点,其定位应该是辐射北京西区,但是因为是新建机房,所以相当豪华。在整个模块的374个机柜中,京东占据了大概50个机柜,乐视占据了大概70个机柜,其他的我没有细看,多为游戏公司。 而从cloud的服务器情况看来,采用的应该是non-tier的布局,计算和存储一体化。双万兆的可能为计算 网络节点。R420应该是官网或者带外管理机器。从电流和带宽的情况来看,某cloud的业务已经是相当不错了,CPU基本满载,网络模型奇特,而且上线就有很大的业务量。
最新弱电资料更新—弱电报价之451定额(4月21日)
,免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。文章投诉邮箱:anhduc.ph@yahoo.com