4x4=16也是6年——自用服务器Gen3上线

Gen1是个Too-low台式机主板+i3（i3送走了，但是风扇留下来了）
Gen2是这5年多我一直在更的这个（http://bbs.pceva.com.cn/thread-144709-1-1.html）
Gen3就是今天的主角了

硬件配置	型号	数量	状态	说明
主板	Supermicro X11SPL-F	1	新购
CPU	Intel Xeon Gold 6130 QS	1	捡漏
内存	***DDR4-2666V RDIMM	4	捡漏	有2条还是ES的
SSD	Seagate Nytro 3130 7.68TB	2	已有
SSD	sTec S1120 980GB	1	已有
SSD	Intel 730 480GB	1	已有	吃灰1年多了
HDD	Seagate Barracude Green 2TB	1	已有	就是7万小时那个
HDD	Seagate Exos 7E8 8TB	1	新购
阵列卡	MegaRAID 9340-8i	1	已有
网卡	Intel X540-T1	1	已有
USB	Renesas uPD720201	1	新购
电源	振华冰山金蝶GX450W	1	新购
散热	猫头鹰NH-D9 DX-3647	1	新购
机箱	NZXT Source 210	1	已有

众所周知我是个经常买旧东西的人，Gen2就是14年组的IVB的机器。如今是19年，组的是SKX的机器，虽然平台上只早1代，但以这QS的CPU来说，实际上还是2年。不过这其实并不是我的本意，看过我之前的规划（http://bbs.pceva.com.cn/thread-137346-1-1.html）就知道，我本意是弄个DT/WS平台的机器的，但无奈这都到CoffeeLake-Refresh了，Intel还就是不出主板，其他家的也没有满足扩展性要求的，所以这只能连升2级（115x->20xx->3647）搞个威力加强版了。

整体方案和设计用途还是跟Gen2是一样的，实际上这CPU和内存是严重过剩的，但谁让是捡漏的，省下的可以交好几年电费。

主板：


看中超微这张板子的原因就是IO扩展够强，1S-ATX有7个PCIe插槽，插满我的5张卡还有2个富余的。前6个都是直连CPU的x8，正好用满48lanes，最后是连PCH的x4。
另外还有1组开满8个口的板载SATA，和一个M2-22110槽，走了PCH的x4和sSATA控制器的1个口。不过我有阵列卡了，SATA控制器直接禁用掉，M.2槽以后可以考虑利用上。
板载网络是2个I210千兆和一个BMC专用口，这也是主流服务器板子的常规操作。

还有另外一个板子，虽然被淘汰了，但也值得一说，X11SPi-TF。这张板子是6个PCIe插槽，但因为用到了C622 PCH，所以板载直出了集成的X722的2个10Gb电口，其余的规格近似。被淘汰的原因是Lewisberg PCH自带的X722只支持1Gb和10Gb连接，而我的光猫还是100M的，把100M直接插上去是Link-down的状态，所以不太方便。当然这个问题有办法解决，串个交换机或者找个单独的1Gb网卡都可以。只不过我手上有10Gb网卡，而且板子也贵了1K多，所以被淘汰了。

LGA3647 CPU的安装方式跟之前的都不一样，不能直接把CPU落到LGA插槽上，要先卡在一个塑料框上，再把这个塑料框扣在CPU散热片下面，再把散热器整体放入CPU插槽并按顺序拧紧螺丝。
正确玩法在网上可以找到视频我就不多描述了。如果不扣上散热片，直接把塑料框和CPU装上应该是这样的。如果没有塑料框的话，是很难拿起CPU的，而且很容易损伤LGA。



CPU是QS的Xeon Gold 6130，HCC，16蛋，主频2.1G，TB加速3.7G，IMC支持2DPC DDR4-2666，TDP 125W，属于SKX CPU中不论性能还是价格都居中的一款。
不过就算是4x4=16蛋了，用途也还是现在这些。也许可以贡献算力给压制组？


存储部分：
2个7.68T的还是即做存储又做虚机的datastore，这回我连系统都没重装。等以后哪天再折腾存储的时候再说吧。
浴室给的stec还是RDM直通给虚机，目前做下载盘。
7万多小时的2T盘依旧在累积通电时间，目前做上传盘。
480G的N手730换个地方去吃灰。等哪天再找1个过来做RAID1去跑虚机datastore。
新买了一个8T企业盘，将用来做在线备份。JD上这个盘只比监控盘贵100多，而且5年WTY。噪音的情况我还可以接受，现在这套下来（2个HDD，6个风扇），跟我过去装满12个5K9的盘差不多。有一点要说明，由于碟片多导致“胖”，两侧都只有前后2个螺丝孔，中间那个没有，因此在多数台式机机箱上难以固定住，当然这对于服务器来说不是问题。

网络没有变化，当然因为换主板了，要重新分配一下端口。

显卡还是那个亮机卡，这回发现风扇不转了，但本来就是亮机用，无所谓。今天使用中发现HDMI集成的音频有时候会炸，重启一下虚机就好，原因待查。

因为还是直通PCI给虚机的玩法，所以依然需要一个独立的USB控制器，NEC/Renesas的uPD720201非常成熟的方案，而且是板子自带供电转换不需要插线，4个口也足够用。因为机箱老，没有前置USB3.0，所以也不用管这个。




虽然原来的电源各种意义上用的都是好好的，但我还是换了一个。450W依然是绰绰有余，再来一个CPU都够用。
2条自带模组线分别接内置3个盘和热插拔硬盘盒上的2个口。

这个CPU散热器算是比我之前所有买过的单体加一起都贵。虽然TB上面便宜的2U、3U散热器有很多，但暴力扇真的受不了的。5000转在机房里是听不见的，但在家里就是另外一回事了。

俗话说铁打的机箱，流水的平台（？）。这句话在我这里是很适用的。
算上这次，已经是第四次利用这个机箱了。
本来想如果换新的DT/WS平台就换一个小机箱的，既然无法实现就继续用喽。

那么都装好了，还是那个角度，显得并不那么“满满当当”。




机器上还顶着一个新买的Netgear GS110EMX，很早以前被安利的，8个1Gb 2个10Gb，一个连服务器，一个连日用主机，正好满足我的需要。
事实证明超5短距离跑10Gb是完全OK的。

IPMI部分
感觉除了几个整机大厂以外，其他厂家的Web管理界面真是大同小异。

刷了新BMC FW以后也没看到哪儿提示去刷FRU/SDR，不过可能超微家做的比较“人性化”，不是少插个风扇就一律给你全速转。
2个1000RPM的是CPU风扇，现在室温高，刚开机的时候都是600RPM的。猫家这风扇是600-2000RPM。
2700RPM的是热插拔硬盘盒后面的，3个1200RPM的分别是前、侧、后三个机箱风扇。

超微这代主板也跟上时代有HTML5的iKVM了，但提示我只能用Chrome录屏，而且也不能在HTML5这里挂载ISO，还是得用JAVA的。


让我非常不理解的是，在Web界面刷BIOS居然还要License……不过这板子到手就是最新版本，而且我也没有强迫症。这种东西没事随便刷FW都是嫌自己日子过的太清闲的。

今天是day1，虽然负载已经都迁移上去也都正常跑着，但新平台也是需要一段时间的磨合的。
按照惯例，这套平台的设计使用寿命也是6年。

Gen2这套平台已经打包装箱了，计划等Gen3这套平台确认稳定以后整体出掉。
包括：主板（Intel S1200BTL）、CPU（Xeon E3-1230v2）、CPU散热器（Gen1的i3遗留的原装）、内存（4x 4GB KST DDR3）、RAID卡（AXXRMS2AF080，相当于定制版9240-8i）、RMM4 Lite（iKVM模块），还有电源（Antec NEO ECO450M，带原装线和1条1串8xSATA线）。

今天新买了一个Icydock的光驱位4x2.5"热插拔盒子，打算把SSD都放这个盒子里面，而且可以让机箱内部显得更干净一些。

都装好并重新走线以后，开机发现RAID卡报错，提示all configuration lost，进HII看发现2个SAS盘没有。
那么可能存在的问题是：
1. 这两个SAS盘也支持Power Disable Pin功能；
2. 硬盘盒挂羊头卖狗肉，虽然说支持15mm SAS，但实际上不支持。

排查思路就是先找个Molex 4D转SATA 15pin的线来试试，一试果然能认到盘了，RAID configuration也回来了。
因为希捷这个盘一直没出Product Manual，只有一个Datasheet，但也没写支持Power Disable Pin。
再加上原来那个3x3.5"的Icydock盒子也是用SATA 15pin供电的，就没这问题。
所以说这个2.5"的盒子反而是通了3.3V的，虽然这对于不管3.5"还是2.5"来说都是没任何卵用的。


翻回头去说。
在买这个硬盘盒之前是考虑过这个可能性的，正好超级花自带的模组线有一条SATA+SATA+Molex 4D的，那么正好就用起来了。
而用到的Molex 4D转SATA的线还是当年买彩盒520剩下的。
在Icydock官网上还有另外一款4x2.5"的盒子就是直接用Molex 4D口供电的，但是大淘宝没看见有卖的。如果有这个的话，应该就没有这个问题了。

最后，惯例上图。

盘霸终于升级了

很好奇个人家用什么场景需要这么高配置，感觉原来那套家用都已经够了

真正的专业玩家啊,出个问题一般人玩不6

DoctorX99 发表于 2019-7-28 01:07
很好奇个人家用什么场景需要这么高配置，感觉原来那套家用都已经够了

除了压片以外，我应该没有其他能用得上的了

nighttob 发表于 2019-7-28 11:27
除了压片以外，我应该没有其他能用得上的了

原来要压片，难怪啦，家用NAS我是转战QNAP了，好用省心

主板u捡漏什么意思  我能捡到嘛

我是直接用2U服务器 12盘位够我自己使用了。

所以下面的硬盘位就浪费掉了吗？

OstCollector 发表于 2019-8-4 11:24
所以下面的硬盘位就浪费掉了吗？

从结果来说，是的。

看图片电源是振华冰山金蝶450W吗？

hhm73 发表于 2019-8-4 15:06
看图片电源是振华冰山金蝶450W吗？

是的。
最上面的硬件配置里面写了。

nighttob 发表于 2019-8-4 15:27
是的。
最上面的硬件配置里面写了。

请教大大挂八块3T的3.5寸硬盘这电源可以不

hhm73 发表于 2019-8-4 18:46
请教大大挂八块3T的3.5寸硬盘这电源可以不

这电源没试过
更烂的弄过，而且是一条线串8个，在之前的5年多里面大部分时间都是这样做的
http://bbs.pceva.com.cn/thread-138862-1-1.html

请问这个内存ES是什么意思?
ps：服务器主板就是好 啊，啥乱七八糟的都没有

固特异轮胎 发表于 2019-8-4 22:05
请问这个内存ES是什么意思?
ps：服务器主板就是好 啊，啥乱七八糟的都没有 ...

ES就是ES的意思，因为都是要报废处理的，所以才能捡漏

nighttob 发表于 2019-8-4 19:42
这电源没试过
更烂的弄过，而且是一条线串8个，在之前的5年多里面大部分时间都是这样做的
http://bbs.pce ...

收到，谢谢大大指导一条线串8个那么牛叉啊
我想搞8×东芝ACA300，先上6块组三个储存池挂PT下载

1. 2U 散热器自己换个静音的风扇还是可以折腾一下的（通常原配的双滚珠风扇即使用减速线也还是会有哒哒声），不知道楼主有没有兴趣折腾，或者上个便宜的 Asetek 代工一体水冷
2. ESXi 直通硬件这个玩法有没有碰到过什么稳定性问题？
3. 超微那个 License 是比较恶心，一两百块钱一个，我们少量超微机器，都是带外 iKVM 挂个 ISO 进 EFI Shell 来刷 BIOS
4. 感觉几张 PCIe 的扩展卡的散热会有点问题，像 HBA 这种都是为服务器风道设计的，在 PC 里会相当热

helixzz 发表于 2019-8-11 21:44
1. 2U 散热器自己换个静音的风扇还是可以折腾一下的（通常原配的双滚珠风扇即使用减速线也还是会有哒哒声） ...

我现在想明白了，所谓“DIY精神”就是花钱给自己找罪受。既然我明知这是坑了，那么不会跳的。绝不考虑水冷。
小毛病一直有，比如正文里面说的有时HDMI音频会抽。之前还有过首次开机以后如果不把USB设备重新拔插一下，一段时间后会丢设备，必须重启虚机，不过这次升级以后没出现。早几年直通RAID卡的时候问题更多一些，所以现在改成RDM了。
我其实是很习惯在DOS、EFI shell里面刷BIOS和BMC。
这机箱好就好在侧板上有风扇位，至少能控制在不热爆的水平上。

设计方案的时候想过不弄直通，搞VDI玩玩的。但我这最多就2个点，搞VDI太浪费，所以还是愉快地直通吧。