这回玩个大号的,带你看看豆腐渣机房是啥样(暂完,开放,求精)

今日下午闲着无事,跑回公司,拿起相机,啪啪啪,总算有点可以写的了.
为了团购7850Hawk的精华.
湿太逼我这个老实不爱说话的人(?)把家底都搬出来了.
不给精的话,我就真只能写手电筒啦.

目录

一.看起来不错的机房,其实是豆腐渣工程

二.机柜对比

三.IBM

四.这东西看起来挺给力,随便逛逛

五.由机房出现的问题引申出来机箱散热方式的选择

凌晨3点搞完,保存,之后改权限和标题,发现论坛挂了...
我滴心哪,拔凉拔凉的,还好保存上了,就差1分钟= =|||

其实机房跟机箱有些相似.
服务器可以看作是处理器.
交换机路由器可以看作是网卡.
UPS看作是电源.
空调看作是散热器,等等.
整个结构上差不多,有些观点和技术可以拿来互用.
今天就带大家看看费了我不少心血和时间完成的公司新厂区的中心机房.
废话少说(?)边上图边讲.

先来张外景,这是机房外走廊的窗户,全密封,气密性还不错,尼玛白天玻璃反光,坑爹哪.

整个机房内部用强化玻璃隔为3个隔间,这是最外侧的隔间,放了2个HP的塔式服务器和2台PC机,塔式服务器是用来一些服务在放到正式服务器之前测试用的,PC机是用来需要长时间或者不方便直接操作服务器时用来远程用的.

从外隔间向内望

回头,门口墙上这个是机房消防系统的控制器,机房当然得有自己独立的消防系统,跟办公楼的消防系统没有任何关系,就靠这个小东西来控制,这个东西马虎不得,操作错误的话也会要命的;侧面还有个新风系统,其实就是个高级点的换气扇,就不讲了.

进到中间的隔间了,8个机柜,1路由,3交换机,1机架服务器,1刀片式小型机,1电话跳线,1光纤跳线,一会儿再细讲.

先来看消防系统,这个柜子里面装的就是灭火器了,固定在里面的,通过刚才那个小盒子控制,柜子上部有喷嘴,机房用,当然里面装的不可能是液体啦,都是窒息性气体,一旦触发,巨大的压强会在几秒内将机房内的氧气排出,从触发到开始喷气,默认有30秒时间给人逃生,或者在机房内外都有紧急启动和紧急停止的按钮,但是如果人在里面开喷的话...

打开看看,巨大的罐子,外隔间是1个,中间的隔间是2个,里面的隔间1个

在天花板上每个隔间都有一堆感应器,1排是温度1排是烟雾,当温度达到80度,或者当烟雾浓度达到一定程度时,消防系统便会开始工作.

继续往里走,到最里面的隔间了,看看这些东西,都是干什么的.

配电箱,打开看看,三路,最开始居然接错...串联起来,真受不了

看看电压和电流的情况,挺平均的么.

这个大家伙就是机房空调了,风量和制冷量真的很猛,当然重量也很猛,1.5吨,机房在2楼,当初土建已经完成,没法吊装,完全人力抬的,8个工人一点一点挪上来的,花了一整天时间.

其实做工一般,赶不上利民呢= =|||

附件容量用光了...找了个相册继续传...
这个就是UPS控制器啦,山特的,功能和性能都还是不错的,2台2路,主要是供给刀片机用的.

UPS的电池箱

接下来看看8个机柜中的4个网络设备机柜吧,其中3个是交换机,1个路由器+防火墙+上网行为管理,全部互联,即使其中某台出现故障也不影响使用,这台是主交换机,通过光纤连到其余建筑的弱电井内的交换机中,另外2台是一样的,我就不贴了.


核心路由+防火墙+上网行为管理,P2P下载,视频,统统5线程,10K/s,不要怪我,下载也就算了,下完不关一直上传,多大的带宽也不够.

光纤跳线机柜,没啥好看的,上面放了个光转电话的设备,用来补偿大对数不够的情况下需要的电话.

电话跳线机柜,这上面就是500个电话,联通的大对数从地下直接穿上来,5根,每根里含100对电话线,接到配线架上,配线架上的点再穿出去接到分建筑的配线架上,再分给各个办公室,一旦乱了就崩溃啦.

标签得做好,便于维护,不然简直就是折磨,虽说都不用我动手...

先告一段落,剩下的2个机柜就是IBM的机架式服务器以及刀片机,放到后面讲.
现在来讲讲为何看起来还不错的机房我却说它是豆腐渣工程呢?
因为它的各项指标都不合格,主要在风循环和防水2个方面.
机房的几个重要指标,风循环,防水,气密性,防火,还有啥来着...困的迷离了...
其它几项还好,尤其防火方面做的不错,但是风循环和防水这2方面,这个机房是大大的失败了,先说防水,地面没有做特殊防水处理,只有在机房空调的正下方做了放溢池,地面做了防水,其它地方都是零,有一次空调漏水很严重,直接把楼下的销售处给淹了,天花板全部泡汤.
再说风循环,地上的防火防静电地板,跟地面的距离不够,只有40cm但也勉强够用了,并且每隔一块就有一块是做了通风处理的钻孔板,但是天花板因为里面有很厚的防火棉,天花板也没有做风道,导致风循环不畅.
说一下那个机房空调,它采用的是下送上吸式的循环,从地板下面,通过地板下的空间送风,掀开地板就能感觉到很强力的冷气,所有机柜下面都是空的,风大量从机柜下面向上吹,所以机柜顶的风扇都不需要开.
然后本来应该热量上升,通过天花板上面传回,空调顶部吸气,坏就坏在天花板上了,导致整个循环不畅.
不仅如此,本来机房装修是弱电承包方的活,但土建方当成办公室给装修好了,弱电方于是便多加了点东西,那2块强化玻璃,算是赠送的,但本来的设计中是没有的,即使不通过天花板也可以换气.
但有了这2块玻璃,虽说好看了些,但是所有的换气就必须通过地板下面和天花板上面,于是整个机房的风循环极其不畅,并且在最里面的隔间,因为送风通畅回风不畅,产生了极大的负压,那个玻璃门是关不上的,空调也经常负压报警,机房的温度也不理想,没办法只好把天花板掀开几块,从图片上能看到,这也使我看到现在机箱的正压及负压式的散热后有了一些感慨,后面再讲.
其实不仅仅是这个我公司新建成的机房,国内绝大多数的机房的条件还赶不上这样的,也去过不少机房参观,绝大部分都不合格,甚至还有不少合作单位拿我这机房当样板工程,我......

困了,睡了,精华部分起来再继续...
写哪了?昨天在机房冻感冒了,昏昏沉沉的...能写多少写多少吧= =
来对比一下机柜吧
先看看山寨机柜

看这做工

手一抖,照虚了...

明天机箱到,要是这份做工直接退回去...

强力4风扇设计
这机柜是什么牌子的我就不说了,还挺知名的一个牌子,做工实在不敢恭维,价格也不低,4000块一个,我真怕禁不动这些设备,运来的时候门板摞落放的,打开一看没一个是平的,凹凹凸凸,装好后没上设备就晃晃悠悠,两边支架还不平,细节做工更没法看了.很不赞同目前国内很多厂商的态度,我们的水平确实跟国际有一定差距,但是有些东西并不是工艺水平的问题.

接下来看看IBM的原装机柜吧.

看上去挺朴实的,机房机柜嘛,要是做的很华丽那才真的有病了...

常见的柜门把手和锁一体化设计,但是不常见的细致.

仔细看了整个外板没有任何瑕疵

连接处也做的一丝不苟

再怎么挑细节的人也可以满意了
因为刀片机服务器非常重,这个机柜在IBM机柜里也是比较高端的,单个售价1W4.
我跟前面那个机柜的销售商说他们机柜不行的时候,他笑着跟我说IBM机柜1个够买他们3个的时候,我只能在心底对他摇摇头,像我们这种企业,在这种时候会在意这点钱么,而且我给他1W4,他也造不出IBM的细节来.
他那机柜,螺丝拧不上是经常的,有时候设备某处卡住上不上还得现场加工,根本没有任何人性化,易用性的设计.
而IBM的机柜,整个组装过程非常顺畅,各处卡扣的易用性设计非常到位,这个并不是什么刀片机专用机柜,基本上大部分的设备都可以很好的兼容.
这些其实并不需要多么高的工艺水平就可以达到的东西,为什么不能下点力气重视一下呢?
技术不行,理念也不行,拿什么去追赶人家?
而且我觉得,国内的工艺水平,做个机柜其实早就足够了,差的到底是什么呢?

重点来了
废话少说开整
先来看看服役多年的老伙计

忘了哪年买的4个IBM机架式服务器,X3650

上面这个是外挂的存储,8块15K转的SCSI硬盘做的磁盘阵列

每个机架式服务器本身也带5块同规格的硬盘做了磁盘阵列,可怜的0.3服务器前一段有块硬盘挂掉了,正准备更换
虽说服役了好几年了,但是老当益壮,这4台机架式服务器负担起了运行整个公司的大部分系统的重任,神马行政审批,人事,生产管理系统都在这上,前一段升级了CPU和内存,我觉得可以再战10年

过气的东西就不多说了
主角登场

打开门是这德行的

掀起你的头盖来,说实在的这个KVM不如X3650的那个好用...那个直接在控制台可以切换控制的服务器,这个得弯腰下去在刀片上按...

一直觉得IBM笔记本上的小红钮鼠标手感怪怪的,这个也不例外

重点来啦,BladeCenterH系列的,可以插14个刀片,才插了6个,3个Windows,3个SystemX

下面挂了个10块SCSI硬盘的存储,用光纤与刀箱相连.

每个刀片带2块硬盘,Windows的支持热插拔.

又掀起你的头盖来,我记得前几天有人提到暴力扇的问题,这个就是了

猜猜我要干什么

其实我是要拆...

地板是防静电的,也很干净,大丈夫萌大奶

按两侧的这个小蓝钮,就又可以掀起你的头盖来啦.

先整体来一张看看都有什么,其实也没什么

这个下面是CPU,一个刀片上2个CPU,纯铜的,Fanless=.=
话说上面贴的说明不影响散热么?贴外壳上不好么?另外12个内存插槽,我知道有人会喜欢.

ECC内存,刀片机里的,必须是窄条

有没有人出来讲解一下颗粒什么的...

QLOGIC的网络存储控制芯片,蛮大个的

再看一眼整体照吧,马上扣上了

刀片与刀箱连接的接口
多的就不拆了,其实刀片机的精华在刀箱上,但是那玩意没法拆,能拆我自己也拆不了,太重了,空箱200斤...当初4个人才安上去的

转过来看看后面吧,这个门其实关不上的

平时都是这么敞开着的

原因么...因为没理线= =|||

线控会感到很兴奋吧,强迫症的会抓狂吧...

刀箱后面的出风口,其实最暴力的风扇在这里面呢

后出风口的挡板在关机时是关着的,防止进灰,但是没有什么自动开启装置,风扇一开直接吹开...
机房空调的风量大,这个风扇的风压绝对大,穿着羽绒服都轻易吹透了...

用光纤连着存储,本来还想用HDTune测一下来着,但是这玩意是网络存储,HDTune测不了...

6类线,最开始居然用的5类,全掀开重穿的

刀箱带的是2个2900W的电源,功率太大一般电源线肯定不行,插头也得用航空电源插头,双路分别接的2个UPS,接的2路市电,保证无非故障非正常关机

话说这接头居然只给带2个...2X2=4啊...另买了2个...IBM其实一向挺大方来的...
这6个刀片机上面其实只跑了1个软件,但是是整个企业的重中之重,产品数据管理(PDM),没这玩意的话制造类企业的数据没法规范化,整个一团糟,PDM软件供应商指定要求必须是刀片机,那就买吧,买来我也可以玩玩...忘了这个到底多少钱了,反正买完之后就变IBM大客户了,比以前更殷勤的各种"邀请您参加IBM技术交流会",地点一般都在希尔顿酒店,去了吃了饭拿了礼品就可以闪人了,一年大约20次,IBM真舍得花钱,也难怪东西那么贵,这就是IBM的商业策略...
其实整个机房的建设费和设备并没有多少钱.
在花费了N年的时间,大量的人力和物力之后,本公司自主开发PDM软件宣告失败,最后只好用至少购买2W个2600K的价格买了西门子的TeamCenter...凸-,.-凸
X3650上运行的最贵的是某公司的ERP,价格跟PDM也差不多.
还有我们公司所有的图纸,价值不明...
所以说别买彩票啦,直接机房搬走就行了--某人参观完我们机房之后如此说...
从这里面也看出,果然做软件的要比做硬件的好赚...比尔该死你淫了

放松一下,随便逛逛吧

一楼某处的门,刷卡之后就可以打开,通往传说中的机房

中控的指纹考勤机...好久没按了

吊灯...比中石油那个差远了
电子屏是自己公司做的

对照一下,我手里的像素比较高一些...

办公室里的天花板,中央空调,看看跟机房里的天花板有什么不一样

所有建筑都会有些很神秘的小房间,里面是什么呢?

其实是弱电井,里是机柜以及上下楼层走线用的

上面是2台交换机,下面这些都是跳线,中间是网络,下面是电话中心机房的主交换机群用光纤连到这些交换机上,然后从交换机分出来,接到下面的面板上,每个面板对应各个办公室墙上的一个接口.
这个弱电井是在办公楼里的,办公楼的监控用硬盘录像机都集中到监控机房里去了,所以这里没有监控机柜,只有网络机柜.

随便走走,到了新建的露天货场,比较晚了,下班了2小时左右,静悄悄一个人都没有.
这个是自走式(?)起重机,100多少吨来着...
我记得RX-78-2是43.4吨,要不咱也造个来开开?

好东西来了,这可不是在造GP03-D...
这个是立体库,也是西门子的,也花费了不少...不管是精力还是软妹币

其实就是存放零件的仓库,立体式的,自动存取,通过配套软件方便管理,大大提高了空间利用率和存取速度...话说这说的像硬盘似的...

操控房,因为在车间内部,还是土建完成之后才上的,只好弄了个活动板房...

侧面看看,在下面感觉挺威猛的,运转起来更威猛,好孩子千万不要靠近,据说其它公司的早期立体库弄死过人...

中间那个也是操作用的控制台,几个像柜子似的东西其实是垛机,就是那玩意把传送带送过去的东西放到指定的库位里去,跑的还挺快的...但是非常稳定

准备滚回家了,走到门口来一张吧,话说ICBC在这安了个自动提款机,用的我的地盘和电,提款机后半部保险柜在门岗屋里呢,还不给租金和电费,等我哪天...

这个东西是用来在车里远距离刷卡抬杆用的,最大距离20米(吹NB,12米就不错了,而且也不是蓝牙的...)

本来还想写写比如门禁系统,周界红外系统,监控系统,但是考虑到安全性的问题,还是不曝光了(真的不是为偷懒找借口)...
而且标题人家本来写的就是机房嘛...

话说要有独特的观点.
那么我就来说说由机房空调工作不正常带来的一些关于机箱散热的思考.
前面说了,公司的机房由于这样那样的原因,造成空调跟整个机房内的换气非常差.
本来本地气温夏天最高也就是30度上下,再加上机房所在的主办公楼有中央空调,全楼温度大约在23度(机房密封,跟中央空调没太大关系,但是墙啊,还有门漏气什么的).
所以机房温度本应毫无压力才对,而且2台强力的机房空调,单开1台就应该可以满足非极端情况下整个机房的温湿度要求.
但是在当初建成的时候情况十分不理想,机柜所在隔断跟空调所在隔断温差能达到6~8度.
空调下送风还是比较顺畅的,但是上抽风不行,巨大的风量差造成空调所在隔断负压差很高,那个玻璃门关上也会因为气压的关系向内开大约30公分左右的缝隙,但即使这样,人在里面也会感到呼吸困难,有时候气压会低到空调工作的底限,造成低压报警,空调自我保护,停止工作...
机柜所在隔断的气压较高,空调下送的冷气也不能很好的进入,内外的压差因为没有足够的通道,也并没使上回气能够得到多大提高.

对比现在机箱的散热,可以感觉到结构和原理基本差不多.
所以说,无论是正压,负压,还是均压,我们其实都应该认识到真正的重点是什么.
那就是,热量交换,以空气作为媒介,使我们需要降温的地方(机箱内部和机柜所在区域)的热量交换到我们想要让他们去的地方(机箱外和空调所在区域)去.
让我们来看看几处关键点.
风冷我们的媒介只能是空气.
同种物质的比热容受温度影响很小,基本可以忽略.
影响比较大的是分子的自由度,但是气压对此影响也不大,忽略了也无所谓.
所以我们没办法改变媒介也没办法改变媒介的比热容.
在这样的情况下,想增加热交换的量,只有一种方法可以选择.
就是增多媒介的量,机箱再大也有限,所以我们只能增加换气量.
而正压负压和均压法其实都只是手段,为了增加换气量的手段.
这样一来就明确了我们该怎么做.
一味的追求正压负压还是均压其实都是没有必要的,风道的问题先不谈,无论怎样,增大换气量就是好的.
有进就得有出,有出就得有进,最近常看到有的童鞋,机箱散热,负压法好啊,排风风扇装了一堆,都没进气的地方了,散热效果肯定不理想,我看了就想说,你这是造真空呢么?小心抽成真空直接嗝屁了.
那么负压法不好?
不,负压法是好的.
为什么?
理想的状态下,应该是50%进50%出,孔径风速相同的情况下,进风和出风对半开是最好的了,机箱里面无遮挡,一马平川空气直接流过然后出去是最好的了.
但是这必定是不可能的.
机箱内部的复杂情况,即使在背线的情况下,也仍然会有很多死角.
而负压法可以比较好的带动死角部位的空气流动,配合设计合理的风道,加大关键部位换气量,构造出目前条件下比较合理的机箱散热.
全文暂完...

病的头昏昏沉沉的,而且很困...
写不动了...想写的东西缩了缩...也没润色...但是主要的东西都写出来了...
所以...
打劫了打劫了,不劫财也不劫色,乖乖把精华都交出来-_-

呵呵。遇到同行了。坐等射精。
PS：锐捷的交换机真心挫。深信服还不错。蛮好用的。

我去，这篇写完肯定精华了，辛苦辛苦。。

不过我更期待你写显卡开箱贴再拿精华~

那个惰性气体很恐怖，以前还没有30秒的逃生时间。。。

这个真不错

世纪冰雷 发表于 2012-7-13 09:08
呵呵。遇到同行了。坐等射精。
PS：锐捷的交换机真心挫。深信服还不错。蛮好用的。  ...

锐捷的交换机确实不怎么样.
深信服的倒是还可以,但是有些地方易用性做的有些不到位,甚至还不如一些民用产品.
比如说上网行为管理,改了配置之后点了确认,发现没效果,以为是哪里配的不对,来来回回折腾好多次,才一不小心拉到页面最底部,在一个不起眼的位置有个小小的保存,点完之后才生效,期间也没有任何提示.
之前用过S3C和华为的,这次是服务商提供的整体解决方案,保证的信誓旦旦的.
但是效果不是很好.
尤其后来还把视频监控的网络并了过来.
本来视频监控350多个摄像头,分别接到十几台硬盘录像机,分部在各个分体建筑中,然后通过单独的网络连到在办公楼1楼的监控机房里,有单独的视频监控用的3层交换机,最后接到监控用服务器,输出到电视墙上.
但是后来有些领导觉得希望视频监控不仅安全方面要用,抓劳动纪律也可以用,而且得到了不少的支持,于是便需要在他们的办公室内的PC上可以查看监控画面.
不得以,合并了,日.
本来还想整改一下做单独调用,懒得管了,爱咋咋地.

jasu30 发表于 2012-7-13 10:46
我去，这篇写完肯定精华了，辛苦辛苦。。

不过我更期待你写显卡开箱贴再拿精华~ ...

为啥写显卡开箱贴再拿精华咧?= =
那不是用不到优惠卷了?
你太坏了...
话说写这文的最初目的是骗精拿卷...
结果跑去公司拍照,浪费大量时间和体力...
路费,吃饭...在机房里待时间长冻感冒了,双黄连口服液+蛇胆川贝液伺候...
已经赔了-_-

dxs 发表于 2012-7-13 23:49
为啥写显卡开箱贴再拿精华咧?= =
那不是用不到优惠卷了?
你太坏了...

明显是看出你有实力啊。。

多发精华帖，多拿代金券不好么，以后团购说不定还用的上~

wsy2220 发表于 2012-7-13 11:45
那个惰性气体很恐怖，以前还没有30秒的逃生时间。。。

所以内外都有紧急停止按钮...
正常情况下30秒足够跑出来了.
而且能进机房的就那么几个人,毕竟是全公司最重要的地方...

jasu30 发表于 2012-7-13 23:51
明显是看出你有实力啊。。

多发精华帖，多拿代金券不好么，以后团购说不定还用的上~ ...

昨天在机房冻大发了,猛咳不止,躺了半天,打了半天电话处理工作的事,嗓子更疼了-_-
晚上趁着网速好点起来写写...
台式机给老妈送回去玩魔兽了...
用笔记本写的,眼睛受不了,DPI调大看着也不舒服
新显示器明天才到...
还有机箱也明天到.
今天灯条到手,我怕内存到的晚昨天还从公司拿了2根4G金士顿1333...用不上了
东西不全也没法测显卡= =

还好没有被吞...编辑完了,欢迎参观.
一会儿京东就能把最后的机箱和显示器送到,到时候就可以测显卡啦.
话说京东自提点离我这走5分钟...但是从来都是早上到,下午给我送-_-
上次主板我自己过去拿的,机箱和显示器...还是家中坐等吧...

从来没进过机房过来围观。总是听说机房的空调系统跟主机同等重要，看来确实比想象中的要复杂很多。

以前看过一点刀片的介绍，但是没见过刀片怎么拆装。内存好像每路只插了2条VLP-UDIMM？没看见Reg，布局也不像RDIMM……颗粒是三星的吧。其他塑料黑壳的是防尘用的？

我有在服务器部门的同学说，2U12盘位的，全插满硬盘，中间位置的容易过热。这是机房还是机箱的问题？然后刀片也是，是IBM要求即使只有6刀也要连续插，不能中间间隔一个，好像刀片的发热密度还是挺大的。有看过BCE虽然也是满14刀，但是限于电力和散热建议只插12刀，BCH没这问题？

对你的公司很感兴趣···不知道是那行业的？

nighttob 发表于 2012-7-14 13:15
从来没进过机房过来围观。总是听说机房的空调系统跟主机同等重要，看来确实比想象中的要复杂很多。

以前看 ...

今天4点京东来送机箱和显示器...
机箱侧透上2条划痕
显示器1亮点,明确承诺无亮点的...
坑爹
折腾半天全装完了...
然后深有感触,光污染晃的眼花,PC机没有刀片机好装...
每路我记得插了4条来的,高科技防尘啊,虽然机房做了防尘处理,但是还是有灰
存储过热的问题,我这是没有,当然我这边的应用对存储操作的较少,其实这几台服务器的负载都在20%以下...浪费着呢...
BCE比BCH各方面都要差一些的...但是其实都是可以插满的,当然跟机房条件是有一定关系,但是据我感觉,插12个跟插满没啥区别,你要是拆过就知道了,刀片拔出来之后那空间也不是用来散热的,会有挡板出来堵上...电源也绝对是足够的,我认识有个单位的一位勇士,插满常年95%负载照样活着...
这么说吧,IBM的设计上其实要比大多数公司都要来的严谨...
X3650服役好几年了,只在前不久坏了一块硬盘,不是存储上的,是机架里面的,而且只是出现逻辑坏道,还能继续工作,不过也换掉了...