PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 入手DELL C6220 II 四子星,踏上新的折腾征程(挤牙膏中... ) [打印本页]

作者: larryexchange    时间: 2017-2-22 07:01
标题: 入手DELL C6220 II 四子星,踏上新的折腾征程(挤牙膏中... )
本帖最后由 larryexchange 于 2017-2-22 12:08 编辑

一直想给自己的实验室添加一个超融合的群集。有这想法很久了,最近出了一些东西,凑了点钱,决定搞起。先分享一下选择的心路历程。一直耽于写长文,不过这次确实折腾的有点狠,觉得有必要记录下来给自己一个交代 :)

同样是集成四台服务器系统,几年前就考虑过DELL的VRTX。主要优点是颜值高、噪音小(相对于机架式服务器);主要缺点是贵,再加上25块磁盘无法真正直通分给四个节点,不适合作为软件定义存储。故而放弃。
[attach]379589[/attach]

就在那时,DELL的朋友向我推荐了C系列的服务器。这是我第一次见到C系列的四子星这样的东西。坦白说颜值不够啊。后来在@allenxml  那儿欣赏他搭建的四路E7/ 1TB内存的服务器时,他也向我提过超微也有这么个东西。一样是四个节点,四子星更加紧凑(2U,而不是VRTX的5U),节点之间除了共享电源,别的全都独立。这样的结构更加简单。特别是二手的C6220简直就是白菜价,4节点,24个2.5寸盘位的准系统只要7500。盘算着加上8块E5-2670,也就1万出头。DDR3的内存也比DDR4要便宜多了。下面就是C6220的样子。
[attach]379595[/attach]
[attach]379655[/attach]

在做了一点功课后,很快就发现了C6220的不足:

于是又将目光转向INTEL H2000系统,看中的型号是H2216WPQKR(http://ark.intel.com/products/61 ... r-System-H2216WPQKR),可以装16块2.5寸的硬盘
[attach]379656[/attach]
[attach]379657[/attach]

H2216WPQ除了磁盘数量比C6220少,只有16块2.5寸硬盘外,别的都完胜。包括上面列举的C6220的不足。但是... ... 年前开始到年后,全网都缺货,首先Ivy Bridge这种老平台肯定已经早就停产了,存货也都是12块3.5寸的H2312,而且还不带万兆光口,加上INTEL的H2000的节点远程管理模块RMM都是选配的,这也会增加不少成本。

不得已只得又重新开始寻找合适的四字星。这时候之前被我直接忽略的C6220 II重新回到了我的视野里。之前忽略主要是觉得C6220 II仅仅是比C6220多支持了E5-V2的CPU,就贵了很多,性价比不高。而且SATA也还是一样的只有两个是SATA3的。

重新仔细研究了C6220 II与C6220的区别(见下图)
[attach]379658[/attach]

发现了C6220 II除了CPU可以支持E5-V2以外(DDR3时代最多只能支持到V2,V3开始就需要新的主板和DDR4的内存了),至少还可以支持PCIe 3.0标准扩展槽。通过刀卡,也可以支持6Gbps的SATA/SAS盘。这样C6220上的几点不满意的地方多少都有变通的方法可以解决。

决定了,就是它了。

作者: larryexchange    时间: 2017-2-22 07:01
标题: 开箱、配件的准备及清单
本帖最后由 larryexchange 于 2017-2-25 19:31 编辑

C6220 II本尊
--------------------
正面
[attach]379669[/attach]

后面
[attach]379671[/attach]

打开上盖。
[attach]379670[/attach]

其实除了检查磁盘柜的接线外,我实在想不出什么情况下需要打开上面这个上盖。因为每个节点都是可以单独抽出的。
[attach]379672[/attach]


CPU
--------------------
决定是C6220 II后,紧跟着就是选择CPU了,我选了了正显版本的E5-2695V2,基于几个考虑

来张全家福。顺便说一下,这些CPU的品相和真不咋地。二手的也不好要求太多。好在经过8小时拷机还都能稳定运行。
[attach]379661[/attach]


内存
----------------------
有轻度强迫症的要慎重考虑入手四子星,因为这可是一下就四台服务器,如果说8块CPU还不算什么的话,64根内存可不是开玩笑的。好在先借来了一些内存。

节点一:16根16GB 现代PC3L-12800R,共256GB内存
节点二:8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
节点三:8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
节点四:8根16GB 镁光PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存

[attach]379667[/attach]


硬盘
----------------
全闪存是必须的,操作系统盘用的是当初从狗哥那里买的四块工程版的Micron M500DC 800GB。数据磁盘是20块INTEL S3710 400GB。缓存盘用的是4块INTEL P3605 1.6TB NVMe(我知道这个配置不太合理,缓存有点大,而作为持久化存储的SATA SSD又有点小,不过自己瞎玩,也就不那么计较了)

[attach]379668[/attach]


网卡
---------------------
C6220 II每个节点除了带外管理的网口外,各有两个I350千兆电口。我的实验环境已经都升到了万兆光口,所以给他们加上万兆网卡就是必须的了。为了留下宝贵的唯一的PCIe扩展槽给NVMe SSD,只能选择万兆光口的刀卡。

C6220 II提供了Mellanox ConnectX-2的双口QSFP套件。从某宝上淘到了四块全新未拆封的四套。
[attach]379676[/attach]

[attach]379677[/attach]

[attach]379678[/attach]

[attach]379679[/attach]

这个卡默认是支持2个40Gb的IB端口,但如果改为ETH端口,就只有10Gb,而且不支持三层路由。不过这对我来说不是问题,因为我的交换机就是10Gb的,我也没打算让他们跨路由。更巧的是,手上正好有8个QSFP转SFP+的转接头。
不过细心的朋友可能已经发现,上面的套件是C6100的配件。装在C6220 II上支架不匹配,后来换上了C6220的支架。


配置清单
------------------------
节点一:


节点二:


节点三:


节点四:



作者: larryexchange    时间: 2017-2-22 07:01
标题: 安装,遇到的问题及解决
本帖最后由 larryexchange 于 2017-2-27 15:51 编辑

1. 关于C6220 II的两种背板
-------------------------------------
C6220 II同样是24块2.5寸盘的系统,有两种背板,一种是楼主这种没有SAS Expander的被动背板,另一种是集成了SAS Expander的背板。优缺点如下:

被动背板:
集成SAS Expander的背板:

2. 如何利用仅有的两个扩展槽
-------------------------------------
紧凑系统牺牲了扩展性。C6220 II上仅有两个扩展槽(事实上是三个,但由于其中一个PCIe 3.0扩展槽是给2U的节点用的,对于1U的节点没有空间安装Riser卡,故而官方文档都没有把它算在内),一个是可以安装PCIe 3.0 x8的刀卡,另一个是PCIe 3.0 x16的半高半长标准卡(商家的C6220 II准系统没有包括PCIe Riser卡,自己买的话部件号是0JJ7Y5,同C6220通用。卡的样子借用一下卖家的几张图。注意转接卡应该还配有如图的USB线。因为这卡上还有一个TF卡插槽,可以将系统装在TF卡上引导。
[attach]379706[/attach]

[attach]379707[/attach]

[attach]379708[/attach]

下面是我考虑的几种刀卡+PCIe卡的组合。(都是螺蛳壳里做道场,没有办法的事)

组合一:Mellanox ConnectX-2万兆网卡 + INTEL P3605 1.6TB NVMe SSD

组合二:Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡

组合三:LSI 9211-8i + Chelsio T520万兆网卡

组合四:LSI 9211-8i + INTEL P3605 1.6TB NVMe SSD

组合五:Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡 + SAMSUNG PM953 960GB NVMe SSD (通过PCIe延长线使用上第二个PCIe 3.0的槽)

现阶段选择的是组合一,也会尝试组合五的可能性,毕竟组合五更加完美。


3. 买到的Mellanox刀卡支架无法固定
-------------------------------------
买到的Mellanox刀卡套件是为C6100设计的,故而支架放在C6220 II上螺孔对不上,无法固定。见下图:
[attach]379714[/attach]

卖家重新发给我四个针对C6220的支架。但不是Mellanox卡的,估计是四电口的那个刀卡的配件。虽然不完美(有点漏风,另有一个螺丝孔位对不上)但也算解决了万兆RDMA光口的问题。也就不计较那么多了。[attach]379752[/attach]

下面是其中两个节点固定好的样子
[attach]379802[/attach]

升级最新的固件后,安装最新的驱动,而后更改端口从IB变为ETH
[attach]379803[/attach]

用上了之前提到的QSFP转SFP+的转接头
[attach]379804[/attach]

此时,系统中已经可以争取识别两块万兆网卡。
[attach]379805[/attach]


4. 其中一个节点报告电池电量低
-------------------------------------
[attach]379755[/attach]

电池的型号是CR2032锂电。自己从超市花5元钱买了个同规格的电池换上,恢复正常。



5. 散热和噪音
-----------------------------------------
四个节点同时进行稳定性测试,CPU的温度在80度上下。至于噪音么,没有独立的设备间,还是不要考虑放在家中了。楼主是托管在单位的实验室机房。
[attach]379946[/attach]


6. Mellanox ConnectX-2万兆网卡不支持SMB Direct
--------------------------------------------------------------
在STH上有人说成功地用ConnectX-2在S2D上启用了RoCE。但是我的初步测试发现RDMA没有启用。我有另一套群集用的是ConnectX-3网卡,在同样条件下,使用RoCE就没有任何问题。后来看了Mellanox的官方文档(http://www.mellanox.com/pdf/whit ... dows_Server_Eth.pdf),明确说ConnectX-2不支持SMB Direct。虽然是万兆网卡,但没了RDMA,性能上还是要打些折扣。
[attach]380071[/attach]



补充内容 (2017-4-2 19:32):
不支持RDMA的问题,已经通过@priest 在#24楼提供的方法解决了。在此再次表示感谢!
作者: larryexchange    时间: 2017-2-22 07:01
搭建超融合的S2D群集。


补充内容 (2017-4-2 19:34):
由于拖拖拉拉太长时间,本贴已经不能再编辑,故而将软件部分另开了一个新帖
http://bbs.pceva.com.cn/thread-137768-1-1.html
作者: larryexchange    时间: 2017-2-22 07:01
写在最后的话。

作者: 尊称    时间: 2017-2-22 08:05
长见识了…………
作者: hfxiaozi    时间: 2017-2-22 11:49
施工中吧,前排围观
作者: miao656963    时间: 2017-2-22 12:24
我就问造价多少。。。造价多少。。。造价多少。。。
作者: larryexchange    时间: 2017-2-22 13:44
miao656963 发表于 2017-2-22 12:24
我就问造价多少。。。造价多少。。。造价多少。。。

按照第二帖中目前的配置,8W+

作者: 菲尼克斯    时间: 2017-2-22 13:47
为啥对服务器首选是颜值?颜值控么?
作者: miao656963    时间: 2017-2-22 16:05
菲尼克斯 发表于 2017-2-22 13:47
为啥对服务器首选是颜值?颜值控么?

自己花钱,当然靠考虑颜值啦。。。。每天摸下也好的。

作者: nighttob    时间: 2017-2-22 17:45
ConnectX-2用的还是QSFP
联想是有好多“四胞胎”机型,不过基本上都是出给特定客户的
上个月看到了一台Purley平台的四胞胎工程机
作者: Apache    时间: 2017-2-23 22:11
碉堡,楼主拿这个仍家里面吗?

作者: larryexchange    时间: 2017-2-24 12:54
Apache 发表于 2017-2-23 22:11
碉堡,楼主拿这个仍家里面吗?

目前托管在单位实验室机房

作者: larryexchange    时间: 2017-3-3 21:58
拖得时间有点长,没法更新原帖了,我将本应该放在4楼的内容发在存储区 “在DELL C6220 II 四子星上搭建分布式存储” http://bbs.pceva.com.cn/forum.ph ... p;extra=#pid1580738
作者: ninjasex    时间: 2017-3-10 18:56
经典,学习,也弄一套
作者: hhm73    时间: 2017-3-11 10:32
一般家用那会组这玩意啊,还要空调侍候
作者: priest    时间: 2017-3-21 13:58
请问下楼主PCIe Raiser的支架购买渠道有吗?找遍整个TB只有一家单买6220的Raiser,但是只有板子没有支架,而且150元贼贵
作者: larryexchange    时间: 2017-3-21 14:04
本帖最后由 larryexchange 于 2017-3-21 14:06 编辑

发重复了,删去
作者: larryexchange    时间: 2017-3-21 14:05
priest 发表于 2017-3-21 13:58
请问下楼主PCIe Raiser的支架购买渠道有吗?找遍整个TB只有一家单买6220的Raiser,但是只有板子没有支架, ...

不需要支架,支架服务器本身就带了,只要买提升卡就行了。我有几片提升卡就是从你说的那家买的。也是那个价。不过他们家的没有那根USB线,如果要用TF卡引导系统的,还需要单独买线。

作者: priest    时间: 2017-3-21 14:13
larryexchange 发表于 2017-3-21 14:05

感谢回复
我买的时候不是一次性上四块板子,而是先上了一块板子+机箱电源,其他三块板子都是后续配的
问题是后续配的主板都不带这个支架,也没有raiser,淘宝上搜有raiser没有直接,另外一家有这个支架拉手套件的链接,但是问了没货。这就很尴尬了

作者: larryexchange    时间: 2017-3-21 17:48
priest 发表于 2017-3-21 14:13
感谢回复
我买的时候不是一次性上四块板子,而是先上了一块板子+机箱电源,其他三块板子都是后续配的
问 ...

淘宝没有就ebay吧。

作者: priest    时间: 2017-3-23 10:38
larryexchange 发表于 2017-3-21 17:48
淘宝没有就ebay吧。

又去淘宝逛了一圈,之前有商品链接但没货的这次有货了,已经下单

作者: priest    时间: 2017-3-24 14:41
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几张卡都用这种办法刷新成功了(不过是普通刀卡,不是这种夹层卡)
可以参考https://www.servethehome.com/cus ... indows-server-2012/
作者: larryexchange    时间: 2017-3-24 18:57
priest 发表于 2017-3-24 14:41
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几 ...

多谢多谢!看STH上那篇文章用的是IB,我回头试试ETH能不能启用。再次感谢!

作者: qiaopeng1231    时间: 2017-3-31 13:36
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别?
作者: larryexchange    时间: 2017-3-31 17:16
qiaopeng1231 发表于 2017-3-31 13:36
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别? ...

抱歉C6320没有接触过,不敢乱说。但看名字应该是类似的。

作者: priest    时间: 2017-4-1 09:43
qiaopeng1231 发表于 2017-3-31 13:36
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别? ...

看淘宝链接上的介绍,以及节点主板接口的定义,C6320似乎是可以和C6220共用机箱的
但现在的问题是C6320并没有大船,或者这货本来就不会有大船
之前看到一家板子卖1300,现在好像提价了
而且这货要用E5 V3/V4的U,DDR4 REG内存,这两样现在哪个都不便宜


作者: qiaopeng1231    时间: 2017-4-1 15:53
priest 发表于 2017-4-1 09:43
看淘宝链接上的介绍,以及节点主板接口的定义,C6320似乎是可以和C6220共用机箱的
但现在的问题是C6320并 ...



是的。
我在想,假设机箱通用。
可以买C6220的机箱啊。
然后先配一路刀片回家凑合用着。随后等V4的CPU降价和DDR4 降价后,再上3个刀片。



作者: larryexchange    时间: 2017-4-2 19:20
priest 发表于 2017-3-24 14:41
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几 ...

乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的ETH模式,并在Windows Server 2016下。给你大写的赞!
[attach]383635[/attach]

作者: nighttob    时间: 2017-4-2 20:10
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

我就注意到PCIE 5.0了

虽然说Mellanox确实叼,首批PCIe 4.0的就是ConnextX-6

作者: larryexchange    时间: 2017-4-2 20:42
nighttob 发表于 2017-4-2 20:10
我就注意到PCIE 5.0了

虽然说Mellanox确实叼,首批PCIe 4.0的就是ConnextX-6

那是5.0Gbps X8,也就是2.0 x8

作者: nighttob    时间: 2017-4-2 21:43
larryexchange 发表于 2017-4-2 20:42
那是5.0Gbps X8,也就是2.0 x8

好吧,眼花了


作者: priest    时间: 2017-4-5 14:16
nighttob 发表于 2017-4-2 21:43
好吧,眼花了

大神也有看走眼的时候
PCIE 1.0 X8, 带宽 5.0Gbps
感觉PCIE发展遇到瓶颈,现在的德性恨不得内存都整合到cpu里,闪存整合到内存里,
不会再有大的作为


作者: priest    时间: 2017-4-5 14:18
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

恭喜,这卡的突出优点就是便宜,买两块刀片,用这个做数据交换的互联感觉美滋滋
然而刀片数目再增加,就必须上mellanox的交换机,那玩意奸商抬价太厉害了,买不起

作者: priest    时间: 2017-4-5 14:22
qiaopeng1231 发表于 2017-4-1 15:53
是的。
我在想,假设机箱通用。
可以买C6220的机箱啊。

问题是C6320板子的市场保有量实在太小了,远不及C6220,更别提C6110
所以到时候就算内存和CPU都有大船货,板子小众也是很难找着合适的
不过倒是可以考虑C6320+C6220混插,这样万一要升级也有空间


作者: handspring    时间: 2017-8-20 21:25
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

有一点没看明白,既然只用10G而非40G IB,那干嘛不用X520的双口万兆夹层卡?除了不支持RDMA外,这卡便宜很多,还不用转来转去的。

作者: handspring    时间: 2017-8-20 21:30
larryexchange 发表于 2017-2-22 07:01
1. 关于C6220 II的两种背板
-------------------------------------
C6220 II同样是24块2.5寸盘的系统,有 ...

还有个关于集成SAS Expander背板的问题想问下楼主,有什么办法可以分辨这样的C6220 II么?我估计和淘宝上的这些掌柜们也说不清楚这个,有没有什么比较简单的方法或者拍某个关键部位的照片可以分辨下的?


作者: larryexchange    时间: 2017-8-21 01:40
handspring 发表于 2017-8-20 21:25
有一点没看明白,既然只用10G而非40G IB,那干嘛不用X520的双口万兆夹层卡?除了不支持RDMA外,这卡便宜 ...

要的就是RDMA。QSFP转SFP+也并不麻烦。

作者: larryexchange    时间: 2017-8-21 01:45
handspring 发表于 2017-8-20 21:30
还有个关于集成SAS Expander背板的问题想问下楼主,有什么办法可以分辨这样的C6220 II么?我估计和淘宝上 ...

最简单的方法就是没有增加RAID卡或HBA卡的时候,能否识别SATA硬盘,如用主板上的口可以死别SATA盘,那就是直通的。如果非得加RAID卡或HBA卡才能识别硬盘,则是用的带SAS Expander的背板。

如果要肉眼分别,就看有没有下图的板卡。
[attach]392897[/attach]

作者: handspring    时间: 2017-8-21 09:48
larryexchange 发表于 2017-8-21 01:45
最简单的方法就是没有增加RAID卡或HBA卡的时候,能否识别SATA硬盘,如用主板上的口可以死别SATA盘,那就 ...

了解了,多谢!




欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/) Powered by Discuz! X3.2