PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

4x4=16也是6年——自用服务器Gen3上线

[复制链接]
nighttob 发表于 2019-7-27 14:31 | 显示全部楼层 |阅读模式
点击数:1511|回复数:21
Gen1是个Too-low台式机主板+i3(i3送走了,但是风扇留下来了)
Gen2是这5年多我一直在更的这个(http://bbs.pceva.com.cn/thread-144709-1-1.html
Gen3就是今天的主角了

硬件配置 型号 数量 状态 说明
主板 Supermicro X11SPL-F 1 新购
CPU Intel Xeon Gold 6130 QS 1 捡漏
内存 ***DDR4-2666V RDIMM 4 捡漏 有2条还是ES的
SSD Seagate Nytro 3130 7.68TB 2 已有
SSD sTec S1120 980GB 1 已有
SSD Intel 730 480GB 1 已有 吃灰1年多了
HDD Seagate Barracude Green 2TB 1 已有 就是7万小时那个
HDD Seagate Exos 7E8 8TB 1 新购
阵列卡 MegaRAID 9340-8i 1 已有
网卡 Intel X540-T1 1 已有
USB Renesas uPD720201 1 新购
电源 振华冰山金蝶GX450W 1 新购
散热 猫头鹰NH-D9 DX-3647 1 新购
机箱 NZXT Source 210 1 已有


众所周知我是个经常买旧东西的人,Gen2就是14年组的IVB的机器。如今是19年,组的是SKX的机器,虽然平台上只早1代,但以这QS的CPU来说,实际上还是2年。不过这其实并不是我的本意,看过我之前的规划(http://bbs.pceva.com.cn/thread-137346-1-1.html)就知道,我本意是弄个DT/WS平台的机器的,但无奈这都到CoffeeLake-Refresh了,Intel还就是不出主板,其他家的也没有满足扩展性要求的,所以这只能连升2级(115x->20xx->3647)搞个威力加强版了。

整体方案和设计用途还是跟Gen2是一样的,实际上这CPU和内存是严重过剩的,但谁让是捡漏的,省下的可以交好几年电费。

主板:


看中超微这张板子的原因就是IO扩展够强,1S-ATX有7个PCIe插槽,插满我的5张卡还有2个富余的。前6个都是直连CPU的x8,正好用满48lanes,最后是连PCH的x4。
另外还有1组开满8个口的板载SATA,和一个M2-22110槽,走了PCH的x4和sSATA控制器的1个口。不过我有阵列卡了,SATA控制器直接禁用掉,M.2槽以后可以考虑利用上。
板载网络是2个I210千兆和一个BMC专用口,这也是主流服务器板子的常规操作。

还有另外一个板子,虽然被淘汰了,但也值得一说,X11SPi-TF。这张板子是6个PCIe插槽,但因为用到了C622 PCH,所以板载直出了集成的X722的2个10Gb电口,其余的规格近似。被淘汰的原因是Lewisberg PCH自带的X722只支持1Gb和10Gb连接,而我的光猫还是100M的,把100M直接插上去是Link-down的状态,所以不太方便。当然这个问题有办法解决,串个交换机或者找个单独的1Gb网卡都可以。只不过我手上有10Gb网卡,而且板子也贵了1K多,所以被淘汰了。

LGA3647 CPU的安装方式跟之前的都不一样,不能直接把CPU落到LGA插槽上,要先卡在一个塑料框上,再把这个塑料框扣在CPU散热片下面,再把散热器整体放入CPU插槽并按顺序拧紧螺丝。
正确玩法在网上可以找到视频我就不多描述了。如果不扣上散热片,直接把塑料框和CPU装上应该是这样的。如果没有塑料框的话,是很难拿起CPU的,而且很容易损伤LGA。



CPU是QS的Xeon Gold 6130,HCC,16蛋,主频2.1G,TB加速3.7G,IMC支持2DPC DDR4-2666,TDP 125W,属于SKX CPU中不论性能还是价格都居中的一款。
不过就算是4x4=16蛋了,用途也还是现在这些。也许可以贡献算力给压制组?


存储部分:
2个7.68T的还是即做存储又做虚机的datastore,这回我连系统都没重装。等以后哪天再折腾存储的时候再说吧。
浴室给的stec还是RDM直通给虚机,目前做下载盘。
7万多小时的2T盘依旧在累积通电时间,目前做上传盘。
480G的N手730换个地方去吃灰。等哪天再找1个过来做RAID1去跑虚机datastore。
新买了一个8T企业盘,将用来做在线备份。JD上这个盘只比监控盘贵100多,而且5年WTY。噪音的情况我还可以接受,现在这套下来(2个HDD,6个风扇),跟我过去装满12个5K9的盘差不多。有一点要说明,由于碟片多导致“胖”,两侧都只有前后2个螺丝孔,中间那个没有,因此在多数台式机机箱上难以固定住,当然这对于服务器来说不是问题。

网络没有变化,当然因为换主板了,要重新分配一下端口。

显卡还是那个亮机卡,这回发现风扇不转了,但本来就是亮机用,无所谓。今天使用中发现HDMI集成的音频有时候会炸,重启一下虚机就好,原因待查。

因为还是直通PCI给虚机的玩法,所以依然需要一个独立的USB控制器,NEC/Renesas的uPD720201非常成熟的方案,而且是板子自带供电转换不需要插线,4个口也足够用。因为机箱老,没有前置USB3.0,所以也不用管这个。




虽然原来的电源各种意义上用的都是好好的,但我还是换了一个。450W依然是绰绰有余,再来一个CPU都够用。
2条自带模组线分别接内置3个盘和热插拔硬盘盒上的2个口。

这个CPU散热器算是比我之前所有买过的单体加一起都贵。虽然TB上面便宜的2U、3U散热器有很多,但暴力扇真的受不了的。5000转在机房里是听不见的,但在家里就是另外一回事了。

俗话说铁打的机箱,流水的平台(?)。这句话在我这里是很适用的。
算上这次,已经是第四次利用这个机箱了。
本来想如果换新的DT/WS平台就换一个小机箱的,既然无法实现就继续用喽。

那么都装好了,还是那个角度,显得并不那么“满满当当”。




机器上还顶着一个新买的Netgear GS110EMX,很早以前被安利的,8个1Gb 2个10Gb,一个连服务器,一个连日用主机,正好满足我的需要。
事实证明超5短距离跑10Gb是完全OK的。

IPMI部分
感觉除了几个整机大厂以外,其他厂家的Web管理界面真是大同小异。

刷了新BMC FW以后也没看到哪儿提示去刷FRU/SDR,不过可能超微家做的比较“人性化”,不是少插个风扇就一律给你全速转。
2个1000RPM的是CPU风扇,现在室温高,刚开机的时候都是600RPM的。猫家这风扇是600-2000RPM。
2700RPM的是热插拔硬盘盒后面的,3个1200RPM的分别是前、侧、后三个机箱风扇。

超微这代主板也跟上时代有HTML5的iKVM了,但提示我只能用Chrome录屏,而且也不能在HTML5这里挂载ISO,还是得用JAVA的。


让我非常不理解的是,在Web界面刷BIOS居然还要License……不过这板子到手就是最新版本,而且我也没有强迫症。这种东西没事随便刷FW都是嫌自己日子过的太清闲的。

今天是day1,虽然负载已经都迁移上去也都正常跑着,但新平台也是需要一段时间的磨合的。
按照惯例,这套平台的设计使用寿命也是6年。

Gen2这套平台已经打包装箱了,计划等Gen3这套平台确认稳定以后整体出掉。
包括:主板(Intel S1200BTL)、CPU(Xeon E3-1230v2)、CPU散热器(Gen1的i3遗留的原装)、内存(4x 4GB KST DDR3)、RAID卡(AXXRMS2AF080,相当于定制版9240-8i)、RMM4 Lite(iKVM模块),还有电源(Antec NEO ECO450M,带原装线和1条1串8xSATA线)。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
nighttob  楼主| 发表于 2019-8-3 17:05 | 显示全部楼层
今天新买了一个Icydock的光驱位4x2.5"热插拔盒子,打算把SSD都放这个盒子里面,而且可以让机箱内部显得更干净一些。

都装好并重新走线以后,开机发现RAID卡报错,提示all configuration lost,进HII看发现2个SAS盘没有。
那么可能存在的问题是:
1. 这两个SAS盘也支持Power Disable Pin功能;
2. 硬盘盒挂羊头卖狗肉,虽然说支持15mm SAS,但实际上不支持。

排查思路就是先找个Molex 4D转SATA 15pin的线来试试,一试果然能认到盘了,RAID configuration也回来了。
因为希捷这个盘一直没出Product Manual,只有一个Datasheet,但也没写支持Power Disable Pin。
再加上原来那个3x3.5"的Icydock盒子也是用SATA 15pin供电的,就没这问题。
所以说这个2.5"的盒子反而是通了3.3V的,虽然这对于不管3.5"还是2.5"来说都是没任何卵用的。


翻回头去说。
在买这个硬盘盒之前是考虑过这个可能性的,正好超级花自带的模组线有一条SATA+SATA+Molex 4D的,那么正好就用起来了。
而用到的Molex 4D转SATA的线还是当年买彩盒520剩下的。
在Icydock官网上还有另外一款4x2.5"的盒子就是直接用Molex 4D口供电的,但是大淘宝没看见有卖的。如果有这个的话,应该就没有这个问题了。

最后,惯例上图。



本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
ryoma1836 发表于 2019-7-27 21:27 | 显示全部楼层
盘霸终于升级了
DoctorX99 发表于 2019-7-28 01:07 | 显示全部楼层
很好奇个人家用什么场景需要这么高配置,感觉原来那套家用都已经够了
来自安卓客户端来自安卓客户端
chuifeng 发表于 2019-7-28 09:21 | 显示全部楼层
真正的专业玩家啊,出个问题一般人玩不6
nighttob  楼主| 发表于 2019-7-28 11:27 | 显示全部楼层
DoctorX99 发表于 2019-7-28 01:07
很好奇个人家用什么场景需要这么高配置,感觉原来那套家用都已经够了

除了压片以外,我应该没有其他能用得上的了
DoctorX99 发表于 2019-7-28 11:34 | 显示全部楼层
nighttob 发表于 2019-7-28 11:27
除了压片以外,我应该没有其他能用得上的了

原来要压片,难怪啦,家用NAS我是转战QNAP了,好用省心
羽落风尘 发表于 2019-7-29 20:46 | 显示全部楼层
主板u捡漏什么意思  我能捡到嘛
来自苹果客户端来自苹果客户端
li2921578 发表于 2019-8-3 21:42 | 显示全部楼层
我是直接用2U服务器 12盘位够我自己使用了。
OstCollector 发表于 2019-8-4 11:24 | 显示全部楼层
所以下面的硬盘位就浪费掉了吗?
nighttob  楼主| 发表于 2019-8-4 13:35 | 显示全部楼层
OstCollector 发表于 2019-8-4 11:24
所以下面的硬盘位就浪费掉了吗?

从结果来说,是的。
hhm73 发表于 2019-8-4 15:06 | 显示全部楼层
看图片电源是振华冰山金蝶450W吗?
nighttob  楼主| 发表于 2019-8-4 15:27 | 显示全部楼层
hhm73 发表于 2019-8-4 15:06
看图片电源是振华冰山金蝶450W吗?

是的。
最上面的硬件配置里面写了。
hhm73 发表于 2019-8-4 18:46 | 显示全部楼层
nighttob 发表于 2019-8-4 15:27
是的。
最上面的硬件配置里面写了。

请教大大挂八块3T的3.5寸硬盘这电源可以不
nighttob  楼主| 发表于 2019-8-4 19:42 | 显示全部楼层
hhm73 发表于 2019-8-4 18:46
请教大大挂八块3T的3.5寸硬盘这电源可以不

这电源没试过
更烂的弄过,而且是一条线串8个,在之前的5年多里面大部分时间都是这样做的
http://bbs.pceva.com.cn/thread-138862-1-1.html

固特异轮胎 发表于 2019-8-4 22:05 | 显示全部楼层
请问这个内存ES是什么意思?
ps:服务器主板就是好 啊,啥乱七八糟的都没有
nighttob  楼主| 发表于 2019-8-4 22:57 | 显示全部楼层
固特异轮胎 发表于 2019-8-4 22:05
请问这个内存ES是什么意思?
ps:服务器主板就是好 啊,啥乱七八糟的都没有 ...

ES就是ES的意思,因为都是要报废处理的,所以才能捡漏


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
hhm73 发表于 2019-8-5 22:00 | 显示全部楼层
nighttob 发表于 2019-8-4 19:42
这电源没试过
更烂的弄过,而且是一条线串8个,在之前的5年多里面大部分时间都是这样做的
http://bbs.pce ...

收到,谢谢大大指导一条线串8个那么牛叉啊
我想搞8×东芝ACA300,先上6块组三个储存池挂PT下载


helixzz 发表于 2019-8-11 21:44 | 显示全部楼层
1. 2U 散热器自己换个静音的风扇还是可以折腾一下的(通常原配的双滚珠风扇即使用减速线也还是会有哒哒声),不知道楼主有没有兴趣折腾,或者上个便宜的 Asetek 代工一体水冷
2. ESXi 直通硬件这个玩法有没有碰到过什么稳定性问题?
3. 超微那个 License 是比较恶心,一两百块钱一个,我们少量超微机器,都是带外 iKVM 挂个 ISO 进 EFI Shell 来刷 BIOS
4. 感觉几张 PCIe 的扩展卡的散热会有点问题,像 HBA 这种都是为服务器风道设计的,在 PC 里会相当热
nighttob  楼主| 发表于 2019-8-11 23:21 | 显示全部楼层
helixzz 发表于 2019-8-11 21:44
1. 2U 散热器自己换个静音的风扇还是可以折腾一下的(通常原配的双滚珠风扇即使用减速线也还是会有哒哒声) ...

我现在想明白了,所谓“DIY精神”就是花钱给自己找罪受。既然我明知这是坑了,那么不会跳的。绝不考虑水冷。
小毛病一直有,比如正文里面说的有时HDMI音频会抽。之前还有过首次开机以后如果不把USB设备重新拔插一下,一段时间后会丢设备,必须重启虚机,不过这次升级以后没出现。早几年直通RAID卡的时候问题更多一些,所以现在改成RDM了。
我其实是很习惯在DOS、EFI shell里面刷BIOS和BMC。
这机箱好就好在侧板上有风扇位,至少能控制在不热爆的水平上。

设计方案的时候想过不弄直通,搞VDI玩玩的。但我这最多就2个点,搞VDI太浪费,所以还是愉快地直通吧。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部