入手DELL C6220 II 四子星，踏上新的折腾征程（挤牙膏中... ）
本帖最后由 larryexchange 于 2017-2-22 12:08 编辑一直想给自己的实验室添加一个超融合的群集。有这想法很久了，最近出了一些东西，凑了点钱，决定搞起。先分享一下选择的心路历程。一直耽于写长文，不过这次确实折腾的有点狠，觉得有必要记录下来给自己一个交代 ：）
同样是集成四台服务器系统，几年前就考虑过DELL的VRTX。主要优点是颜值高、噪音小（相对于机架式服务器）；主要缺点是贵，再加上25块磁盘无法真正直通分给四个节点，不适合作为软件定义存储。故而放弃。
就在那时，DELL的朋友向我推荐了C系列的服务器。这是我第一次见到C系列的四子星这样的东西。坦白说颜值不够啊。后来在@allenxml那儿欣赏他搭建的四路E7/ 1TB内存的服务器时，他也向我提过超微也有这么个东西。一样是四个节点，四子星更加紧凑（2U，而不是VRTX的5U），节点之间除了共享电源，别的全都独立。这样的结构更加简单。特别是二手的C6220简直就是白菜价，4节点，24个2.5寸盘位的准系统只要7500。盘算着加上8块E5-2670，也就1万出头。DDR3的内存也比DDR4要便宜多了。下面就是C6220的样子。
在做了一点功课后，很快就发现了C6220的不足：
[*]不支持Ivy Bridge。相较于Sandy Bridge，Ivy Bridge除了有更多核心以外，新的架构配合新的Offload技术可以提供更好的网络虚拟化和存储虚拟化性能。
[*]PCIe扩展槽是PCIe 2.0的而不是3.0的。我打算配上全闪存，这样这个PCIe 2.0可能就会成为我的瓶颈，无论是装x8的HBA卡，还是用NVMe的盘做缓存。
[*]板载的6个SATA接口有4个是SATA2。
[*]没有集成万兆网卡。不过好在可以通过外加刀卡的方式扩展一个双口Mellanox ConnectX-2。
于是又将目光转向INTEL H2000系统，看中的型号是H2216WPQKR(http://ark.intel.com/products/61 ... r-System-H2216WPQKR)，可以装16块2.5寸的硬盘
H2216WPQ除了磁盘数量比C6220少，只有16块2.5寸硬盘外，别的都完胜。包括上面列举的C6220的不足。但是... ... 年前开始到年后，全网都缺货，首先Ivy Bridge这种老平台肯定已经早就停产了，存货也都是12块3.5寸的H2312，而且还不带万兆光口，加上INTEL的H2000的节点远程管理模块RMM都是选配的，这也会增加不少成本。
不得已只得又重新开始寻找合适的四字星。这时候之前被我直接忽略的C6220 II重新回到了我的视野里。之前忽略主要是觉得C6220 II仅仅是比C6220多支持了E5-V2的CPU，就贵了很多，性价比不高。而且SATA也还是一样的只有两个是SATA3的。
重新仔细研究了C6220 II与C6220的区别（见下图）
发现了C6220 II除了CPU可以支持E5-V2以外（DDR3时代最多只能支持到V2，V3开始就需要新的主板和DDR4的内存了），至少还可以支持PCIe 3.0标准扩展槽。通过刀卡，也可以支持6Gbps的SATA/SAS盘。这样C6220上的几点不满意的地方多少都有变通的方法可以解决。
决定了，就是它了。
开箱、配件的准备及清单
本帖最后由 larryexchange 于 2017-2-25 19:31 编辑C6220 II本尊
--------------------
正面
后面
打开上盖。
其实除了检查磁盘柜的接线外，我实在想不出什么情况下需要打开上面这个上盖。因为每个节点都是可以单独抽出的。
CPU
--------------------
决定是C6220 II后，紧跟着就是选择CPU了，我选了了正显版本的E5-2695V2，基于几个考虑
[*]既然多花了2000选择了C6220 II，自然E5-V1是不会再考虑了，虽然E5-2670那性价比依然无敌。
[*]选了E5-V2，那当然得12核24线程了，备选的就只有E5-2695V2和E5-2697V2
[*]E5-2697V2价格依然很贵，而且功耗还高。考虑到四子星本身密度很高，散热就是个问题。所以最后选了E5-2695V2正显
来张全家福。顺便说一下，这些CPU的品相和真不咋地。二手的也不好要求太多。好在经过8小时拷机还都能稳定运行。
内存
----------------------
有轻度强迫症的要慎重考虑入手四子星，因为这可是一下就四台服务器，如果说8块CPU还不算什么的话，64根内存可不是开玩笑的。好在先借来了一些内存。
节点一：16根16GB 现代PC3L-12800R，共256GB内存
节点二：8根16GB 三星PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
节点三：8根16GB 三星PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
节点四：8根16GB 镁光PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
硬盘
----------------
全闪存是必须的，操作系统盘用的是当初从狗哥那里买的四块工程版的Micron M500DC 800GB。数据磁盘是20块INTEL S3710 400GB。缓存盘用的是4块INTEL P3605 1.6TB NVMe（我知道这个配置不太合理，缓存有点大，而作为持久化存储的SATA SSD又有点小，不过自己瞎玩，也就不那么计较了）
网卡
---------------------
C6220 II每个节点除了带外管理的网口外，各有两个I350千兆电口。我的实验环境已经都升到了万兆光口，所以给他们加上万兆网卡就是必须的了。为了留下宝贵的唯一的PCIe扩展槽给NVMe SSD，只能选择万兆光口的刀卡。
C6220 II提供了Mellanox ConnectX-2的双口QSFP套件。从某宝上淘到了四块全新未拆封的四套。
这个卡默认是支持2个40Gb的IB端口，但如果改为ETH端口，就只有10Gb，而且不支持三层路由。不过这对我来说不是问题，因为我的交换机就是10Gb的，我也没打算让他们跨路由。更巧的是，手上正好有8个QSFP转SFP+的转接头。
不过细心的朋友可能已经发现，上面的套件是C6100的配件。装在C6220 II上支架不匹配，后来换上了C6220的支架。
配置清单
------------------------
节点一：
[*]2颗E5-2695V2正显（2.4G，12核24线程）
[*]16根16GB 现代PC3L-12800R，共256GB内存
[*]1块Micron M500DC 800GB作为操作系统盘
[*]5块Intel S3710 400GB作为数据盘
[*]1块Intel P3605 1.6TB作为缓存设备
[*]2个Mellanox ConnectX-2 QSFP网口
节点二：
[*]2颗E5-2695V2正显（2.4G，12核24线程）
[*]8根16GB 三星PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
[*]1块Micron M500DC 800GB作为操作系统盘
[*]5块Intel S3710 400GB作为数据盘
[*]1块Intel P3605 1.6TB作为缓存设备
[*]2个Mellanox ConnectX-2 QSFP网口
节点三：
[*]2颗E5-2695V2正显（2.4G，12核24线程）
[*]8根16GB 三星PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
[*]1块Micron M500DC 800GB作为操作系统盘
[*]5块Intel S3710 400GB作为数据盘
[*]1块Intel P3605 1.6TB作为缓存设备
[*]2个Mellanox ConnectX-2 QSFP网口
节点四：
[*]2颗E5-2695V2正显（2.4G，12核24线程）
[*]8根16GB 镁光PC3L-12800R，8根8GB 三星PC3-12800R，共192GB内存
[*]1块Micron M500DC 800GB作为操作系统盘
[*]5块Intel S3710 400GB作为数据盘
[*]1块Intel P3605 1.6TB作为缓存设备
[*]2个Mellanox ConnectX-2 QSFP网口
安装，遇到的问题及解决
本帖最后由 larryexchange 于 2017-2-27 15:51 编辑1. 关于C6220 II的两种背板
-------------------------------------
C6220 II同样是24块2.5寸盘的系统，有两种背板，一种是楼主这种没有SAS Expander的被动背板，另一种是集成了SAS Expander的背板。优缺点如下：
被动背板：
[*]优点：简单，24块盘，每个节点6块盘；支持板载的SATA口，无需加扩展卡也可以识别全部24块硬盘。
[*]缺点：不能够做到将24块盘在四个节点间自由分配；即便是用了SAS HBA卡，由于没有SAS Expander，不能提供某些软件定义存储所需要SES Enclousure信息
集成SAS Expander的背板：
[*]优点：能将24块盘在四个节点间自由分配；有SAS Expander，能提供某些软件定义存储所需要SES Enclousure信息
[*]缺点：必须添加SAS HBA卡，否则由于有SAS Expander的存在，板载的SATA接口是不能和SAS Expander一同工作的的
我本意是想买集成SAS Expander背板的C6220 II，可惜一来这样的机器很少，二来很多卖家自己也搞不清楚。加上考虑到刀卡的位置装万兆网卡更加合理，也就不纠结是否一定要有SAS Expander的了。
2. 如何利用仅有的两个扩展槽
-------------------------------------
紧凑系统牺牲了扩展性。C6220 II上仅有两个扩展槽（事实上是三个，但由于其中一个PCIe 3.0扩展槽是给2U的节点用的，对于1U的节点没有空间安装Riser卡，故而官方文档都没有把它算在内），一个是可以安装PCIe 3.0 x8的刀卡，另一个是PCIe 3.0 x16的半高半长标准卡（商家的C6220 II准系统没有包括PCIe Riser卡，自己买的话部件号是0JJ7Y5，同C6220通用。卡的样子借用一下卖家的几张图。注意转接卡应该还配有如图的USB线。因为这卡上还有一个TF卡插槽，可以将系统装在TF卡上引导。
下面是我考虑的几种刀卡+PCIe卡的组合。（都是螺蛳壳里做道场，没有办法的事）
组合一：Mellanox ConnectX-2万兆网卡 + INTEL P3605 1.6TB NVMe SSD
[*]优点：万兆RDMA，NVMe缓存和SSD持久化存储，一个都不缺。而且全SATA/NVMe的配置下，无需SAS Expander提供SES Enclosure信息。
[*]缺点：5个数据盘的SATA口中有4个是SATA2
组合二：Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡
[*]优点：万兆RDMA；6个盘位支持SATA3，也可以支持12G的SAS3磁盘。而且由于这个HBA还内置了虚拟SES Enclosure，没有真的SAS Expander也不影响他用SAS盘构建分布式存储。
[*]缺点：没有安装NVMe的位置了。
组合三：LSI 9211-8i + Chelsio T520万兆网卡
[*]优点：万兆RDMA，而且Chelsio的卡比Mellanox的更好用，且支持跨路由；6个盘位支持SATA3，也可以支持6G的SAS2磁盘。
[*]缺点：没有安装NVMe的位置了；不知道LSI 9211-8i的刀卡是否能够刷成真正的HBA卡；即便可以刷，如果用SAS的SSD由于无SES信息，无法被某些软件定义存储的方案所支持
组合四：LSI 9211-8i + INTEL P3605 1.6TB NVMe SSD
[*]优点：6个盘位支持SATA3，也可以支持6G的SAS2磁盘；而且有NVMe作为缓存层
[*]缺点：没有了万兆RDMA网卡；不知道LSI 9211-8i的刀卡是否能够刷成真正的HBA卡；即便可以刷，如果用SAS的SSD由于无SES信息，无法被某些软件定义存储的方案所支持
组合五：Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡 + SAMSUNG PM953 960GB NVMe SSD (通过PCIe延长线使用上第二个PCIe 3.0的槽)
[*]优点：万兆RDMA，NVMe缓存和SSD持久化存储，一个都不缺。而且不论插入的是SATA SSD还是SAS SSD都可以支持；SAS还支持12G的SAS3；HBA支持虚拟SES，可以提供SES Enclosure信息。
[*]缺点：可行性尚未验证
现阶段选择的是组合一，也会尝试组合五的可能性，毕竟组合五更加完美。
3. 买到的Mellanox刀卡支架无法固定
-------------------------------------
买到的Mellanox刀卡套件是为C6100设计的，故而支架放在C6220 II上螺孔对不上，无法固定。见下图：
卖家重新发给我四个针对C6220的支架。但不是Mellanox卡的，估计是四电口的那个刀卡的配件。虽然不完美（有点漏风，另有一个螺丝孔位对不上）但也算解决了万兆RDMA光口的问题。也就不计较那么多了。
下面是其中两个节点固定好的样子
升级最新的固件后，安装最新的驱动，而后更改端口从IB变为ETH
用上了之前提到的QSFP转SFP+的转接头
此时，系统中已经可以争取识别两块万兆网卡。
4. 其中一个节点报告电池电量低
-------------------------------------
电池的型号是CR2032锂电。自己从超市花5元钱买了个同规格的电池换上，恢复正常。
5. 散热和噪音
-----------------------------------------
四个节点同时进行稳定性测试，CPU的温度在80度上下。至于噪音么，没有独立的设备间，还是不要考虑放在家中了。楼主是托管在单位的实验室机房。
6. Mellanox ConnectX-2万兆网卡不支持SMB Direct
--------------------------------------------------------------
在STH上有人说成功地用ConnectX-2在S2D上启用了RoCE。但是我的初步测试发现RDMA没有启用。我有另一套群集用的是ConnectX-3网卡，在同样条件下，使用RoCE就没有任何问题。后来看了Mellanox的官方文档（http://www.mellanox.com/pdf/whitepapers/WP_Deploying_Windows_Server_Eth.pdf），明确说ConnectX-2不支持SMB Direct。虽然是万兆网卡，但没了RDMA，性能上还是要打些折扣。
补充内容 (2017-4-2 19:32):
不支持RDMA的问题，已经通过@priest 在#24楼提供的方法解决了。在此再次表示感谢！ 搭建超融合的S2D群集。
补充内容 (2017-4-2 19:34):
由于拖拖拉拉太长时间，本贴已经不能再编辑，故而将软件部分另开了一个新帖
http://bbs.pceva.com.cn/thread-137768-1-1.html 写在最后的话。
长见识了………… 施工中吧，前排围观 我就问造价多少。。。造价多少。。。造价多少。。。 miao656963 发表于 2017-2-22 12:24
我就问造价多少。。。造价多少。。。造价多少。。。
按照第二帖中目前的配置，8W+
为啥对服务器首选是颜值？颜值控么？ 菲尼克斯 发表于 2017-2-22 13:47
为啥对服务器首选是颜值？颜值控么？
自己花钱，当然靠考虑颜值啦。。。。每天摸下也好的。
ConnectX-2用的还是QSFP
联想是有好多“四胞胎”机型，不过基本上都是出给特定客户的
上个月看到了一台Purley平台的四胞胎工程机 碉堡，楼主拿这个仍家里面吗？
Apache 发表于 2017-2-23 22:11
碉堡，楼主拿这个仍家里面吗？
目前托管在单位实验室机房
拖得时间有点长，没法更新原帖了，我将本应该放在4楼的内容发在存储区 “在DELL C6220 II 四子星上搭建分布式存储” http://bbs.pceva.com.cn/forum.php?mod=viewthread&tid=137768&pid=1580738&page=1&extra=#pid1580738 经典，学习，也弄一套 一般家用那会组这玩意啊，还要空调侍候 请问下楼主PCIe Raiser的支架购买渠道有吗？找遍整个TB只有一家单买6220的Raiser，但是只有板子没有支架，而且150元贼贵 本帖最后由 larryexchange 于 2017-3-21 14:06 编辑
发重复了，删去 priest 发表于 2017-3-21 13:58
请问下楼主PCIe Raiser的支架购买渠道有吗？找遍整个TB只有一家单买6220的Raiser，但是只有板子没有支架， ...
不需要支架，支架服务器本身就带了，只要买提升卡就行了。我有几片提升卡就是从你说的那家买的。也是那个价。不过他们家的没有那根USB线，如果要用TF卡引导系统的，还需要单独买线。