PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

关于服务器滚回Gen2的前因后果

[复制链接]
nighttob 发表于 2022-9-25 00:56 | 显示全部楼层 |阅读模式
点击数:540|回复数:1
基本上没有技术分享,所以还是水区待遇
前集提要
4x4=16也是6年——自用服务器Gen3上线_电脑知识论坛_PCEVA,PC绝对领域,探寻真正的电脑知识

从19年自用服务器Gen3上线以来已经过了3年,期间的硬件变化只有“被种草以后买的”光猫棒,替换掉了老早就觉得不爽的联通光猫。当然这少不了一张光口网卡,同样是捡来的。
因为上光猫棒的过程过于傻瓜,加上我家这北京联通只需要认证光猫MAC,实在没啥要写的。如果不是我“自作聪明”认为插光纤之前需要先设置好,于是白浪费了2小时以外,这个过程可以说是轻松+愉快。
结果就是自18年(还是19年?)被免费升级到300M后,一直被光猫所限制的100M,终于“突破”到了应有的速率。虽然联通最近这几年一直打电话让我升级1000M,但我认为没用,现在¥106/月的300M我觉得相当够用了。

接下来是正题部分,为什么滚回了Gen2服务器,大体上是流水账

首先是死党想DIY个NAS,于是我提议把已经吃灰3年的Gen2套装(主板+CPU+内存+RAID卡)送他,做NAS肯定是绰绰有余的。
为此,死党这边也买了个NAS机箱——半人马座,B站有视频评测,感兴趣可以去看。以及配套的电源、风扇等。
本来应该是绝配的一件事,但死党这边的需求逐渐“失控”——
①想要SSD cache。我是认为家用完全没意义。
②想要开多个虚机。毕竟这是E3v2的平台,插满也就32G内存,更何况他首选是ZFS。
③想要磁带备份。3-2-1备份已经不能满足他的需求了,想要玩的更大。但只有一台LTO6磁带机,说真的意义不大。
然后就是折腾了快1个月,也没能上线,当然其中有带孩子的因素。过程中路线还反复横跳了几次,特别是磁带机这事。

就在上周末终于定了,要改走all-in-one路线,把日用办公游戏+NAS+磁带备份合到一台主机里面。我再次提议,直接把我的Gen3服务器,除存储部分以外,整体搬走。
其实早半年前他就有此打算,我当时就提议他连存储在内把我的Gen3服务器一起打包拿走,并给开了一个无法拒绝的价格,之后就被他搁置了。
这回他做了些功课评估以后,决定要了。双方各自保留存储部分,其余相互交换,那么就是——
我把Gen3服务器除了存储部分(RAID卡+SSD+HDD)及网卡保留,其余连机箱电源一起给他;
并把之前给他的Gen2套装连他新买的机箱套装收回,再配套买了4*8G内存、半高的PCI-USB卡和10G SFP-RJ45模块。

接着就是在这周三完成了硬件部分的交割,各自回家分别调试。
我这边因为存储部分是现成的,所以当晚就恢复上线了,这部分待会儿会细说。
死党那边直到今天还在调配中。

流水账部分结束,说下用回Gen2的感受

Gen2是我很用心搭建的一套平台,从我过去几年的帖子就能看出来。虽然硬件平台很老了,但只要在软硬件上小幅调整就能依然堪用,所以我这回插了32G内存,并调整了虚机的内存分配,刚刚好用满。
事实上用Gen3这3年,基本上也只是充分利用了较多的PCIe插槽,CPU是完全过剩的,只有极少部分时间用于压制和压缩解压缩。
问题在于,半人马座这机箱,上层部分的8015风扇相当鸡肋——
PWM低的时候风压太低,无法对板卡有效散热,导致RAID卡温度直上110℃,网卡上的模块也是烫手的程度,时间长了肯定短命;
PWM高的时候噪音非常感人,关上门也能听到,而且即使这样也不如NZXT Source 210机箱侧面12025低速风扇来的降温明显,这也是我一直在用这机箱的主要原因之一。
结果就是我直接敞开上盖,找了个吃灰的12025风扇盖在PCI板卡上面直吹,效果拔群,就是不好看,当然EMI什么的也不用想了,本身这机箱的EMI设计基本上就没有。
下层部分硬盘的散热,至少目前是不错,不过我也只有2个SSD和2个HDD,而且是间隔插入,这要温度还能高就着实没天理了。

细心的朋友应该注意到了,在Gen3平台上我是有6个PCIe板卡的——
①亮机卡
②RAID卡
③10G电口网卡
④浴室的电容狂魔PCIe SSD
⑤USB3.0卡
⑥用来插光猫棒的光口网卡
但在Gen2主板上只有4个PCIe槽+1个PCI槽,即使不算PCI-USB卡,也还有5个板卡要插
虽然我可以舍弃PCIe SSD,事实上也的确很久没用了,但本着物尽其用的原则,我还是在网卡上动手了。
原来是1个X540-T1,通过网线接交换机;以及1个MCX4111A-XCAT,是个单口10G SFP+网卡,用来接光猫棒。
这在用Gen3的时候显然非常合理,滚回Gen2就要把这2个单口网卡合二为一,所以就需要个双口10G SFP+的网卡,配套也买了10G SFP+转RJ45的模块。

我的计划是用手上没处用的MCX4121A-XCHT,结果插在Gen2主板上会卡POST,推测是跟UEFI有关系。
接着就找了一张X520-DA2,于是折腾就来了。

从规格上来说,X520,或者82599ES芯片是支持1G和10G速率的,在Windows和Linux上都是。但神奇的是,在ESXi里面只有10G速率,而且不可自动协商。
这就导致光猫棒,这个可视为1G SFP模块的东西,插在上面是断开的状态。我怀疑过是驱动问题,从native驱动ixgben换成了vmk驱动ixgbe,也只有10G一个模式。
抱着试一试的心态,我把X520其中1个口直通给了pfSense虚机(基于FreeBSD的软路由/防火墙,我也发过帖子),在重配端口以后就播号通了。
虽然通了,但我始终是不爽的,这种非必要的PCI直通会影响虚机的弹性,比如不能开机中快照了,因此还要想办法解决。

视线还是回到MCX4121A-XCHT,在老黄家查过些资料以后,发现跟常见的-XCAT的区别是支持了Host Management及UEFI。
Host Management我是还没查到做什么用的,但我知道的是Gen2这个主板的UEFI功能基本上是摆设,就有个内置EFI shell,连HII的接口都没有。
所以处理思路就是刷成-XCAT并关掉UEFI。
拜职业病所赐,这当然毫无难度,顺利刷成了-XCAT,插回Gen2主板上顺利进系统,并顺利识别光猫棒播号上网。

从决定动手、买东西,到交换硬件、组装,最后的调试和强迫症,总共用了一周7天的时间。
到此,除了因散热问题导致不能盖机箱上盖以外,我算是顺利滚回Gen2服务器了,所有虚机都运行正常。
这次是彻底将Gen2平台的潜力用尽了,除了独立RMM4网口及PMBus这种可以但实在没必要的玩意以外,其余都已插满,可喜可贺。

Gen2这套平台自14年组装以来已经用了5年半,并吃了3年灰,再会用多久,我自己完全没数。
再下一代会是啥样?只能说,我暂时不会考虑all-in-one的方案。如果Gen2突然GG了,我应该会直接配一套Tatlow Xeon-E的平台平替,甚至是品牌服务器。
其实有考虑过这次就升级平台,但看了几家主要做building block服务器主板厂的也都是mATX板型,IO扩展也并不比Gen2这个SNB时代平台更强,必须要我舍弃些东西(大概率是PCIe SSD,虽然新主板有M.2了)。如果能找到IO足够多的Xeon-E级别ATX主板,未来还是可以考虑的。
计划永远赶不上变化,现在规划多了,到了那天也可能就来个“我就喜欢”。所以还是期望Gen2活到我彻底不想用的那天,或者再有人愿意整体打包要走。物尽其用。
memory 发表于 2022-10-8 10:18 | 显示全部楼层
沙发,支持折腾
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部