PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

入手DELL C6220 II 四子星,踏上新的折腾征程(挤牙膏中... )

[复制链接]
larryexchange 发表于 2017-2-22 07:01 | 显示全部楼层 |阅读模式
点击数:3693|回复数:40
本帖最后由 larryexchange 于 2017-2-22 12:08 编辑

一直想给自己的实验室添加一个超融合的群集。有这想法很久了,最近出了一些东西,凑了点钱,决定搞起。先分享一下选择的心路历程。一直耽于写长文,不过这次确实折腾的有点狠,觉得有必要记录下来给自己一个交代 :)

同样是集成四台服务器系统,几年前就考虑过DELL的VRTX。主要优点是颜值高、噪音小(相对于机架式服务器);主要缺点是贵,再加上25块磁盘无法真正直通分给四个节点,不适合作为软件定义存储。故而放弃。


就在那时,DELL的朋友向我推荐了C系列的服务器。这是我第一次见到C系列的四子星这样的东西。坦白说颜值不够啊。后来在@allenxml  那儿欣赏他搭建的四路E7/ 1TB内存的服务器时,他也向我提过超微也有这么个东西。一样是四个节点,四子星更加紧凑(2U,而不是VRTX的5U),节点之间除了共享电源,别的全都独立。这样的结构更加简单。特别是二手的C6220简直就是白菜价,4节点,24个2.5寸盘位的准系统只要7500。盘算着加上8块E5-2670,也就1万出头。DDR3的内存也比DDR4要便宜多了。下面就是C6220的样子。



在做了一点功课后,很快就发现了C6220的不足:
  • 不支持Ivy Bridge。相较于Sandy Bridge,Ivy Bridge除了有更多核心以外,新的架构配合新的Offload技术可以提供更好的网络虚拟化和存储虚拟化性能。
  • PCIe扩展槽是PCIe 2.0的而不是3.0的。我打算配上全闪存,这样这个PCIe 2.0可能就会成为我的瓶颈,无论是装x8的HBA卡,还是用NVMe的盘做缓存。
  • 板载的6个SATA接口有4个是SATA2。
  • 没有集成万兆网卡。不过好在可以通过外加刀卡的方式扩展一个双口Mellanox ConnectX-2。

于是又将目光转向INTEL H2000系统,看中的型号是H2216WPQKR(http://ark.intel.com/products/61 ... r-System-H2216WPQKR),可以装16块2.5寸的硬盘



H2216WPQ除了磁盘数量比C6220少,只有16块2.5寸硬盘外,别的都完胜。包括上面列举的C6220的不足。但是... ... 年前开始到年后,全网都缺货,首先Ivy Bridge这种老平台肯定已经早就停产了,存货也都是12块3.5寸的H2312,而且还不带万兆光口,加上INTEL的H2000的节点远程管理模块RMM都是选配的,这也会增加不少成本。

不得已只得又重新开始寻找合适的四字星。这时候之前被我直接忽略的C6220 II重新回到了我的视野里。之前忽略主要是觉得C6220 II仅仅是比C6220多支持了E5-V2的CPU,就贵了很多,性价比不高。而且SATA也还是一样的只有两个是SATA3的。

重新仔细研究了C6220 II与C6220的区别(见下图)


发现了C6220 II除了CPU可以支持E5-V2以外(DDR3时代最多只能支持到V2,V3开始就需要新的主板和DDR4的内存了),至少还可以支持PCIe 3.0标准扩展槽。通过刀卡,也可以支持6Gbps的SATA/SAS盘。这样C6220上的几点不满意的地方多少都有变通的方法可以解决。

决定了,就是它了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
larryexchange  楼主| 发表于 2017-2-22 07:01 | 显示全部楼层

开箱、配件的准备及清单

本帖最后由 larryexchange 于 2017-2-25 19:31 编辑

C6220 II本尊
--------------------
正面


后面


打开上盖。


其实除了检查磁盘柜的接线外,我实在想不出什么情况下需要打开上面这个上盖。因为每个节点都是可以单独抽出的。



CPU
--------------------
决定是C6220 II后,紧跟着就是选择CPU了,我选了了正显版本的E5-2695V2,基于几个考虑
  • 既然多花了2000选择了C6220 II,自然E5-V1是不会再考虑了,虽然E5-2670那性价比依然无敌。
  • 选了E5-V2,那当然得12核24线程了,备选的就只有E5-2695V2和E5-2697V2
  • E5-2697V2价格依然很贵,而且功耗还高。考虑到四子星本身密度很高,散热就是个问题。所以最后选了E5-2695V2正显

来张全家福。顺便说一下,这些CPU的品相和真不咋地。二手的也不好要求太多。好在经过8小时拷机还都能稳定运行。



内存
----------------------
有轻度强迫症的要慎重考虑入手四子星,因为这可是一下就四台服务器,如果说8块CPU还不算什么的话,64根内存可不是开玩笑的。好在先借来了一些内存。

节点一:16根16GB 现代PC3L-12800R,共256GB内存
节点二:8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
节点三:8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
节点四:8根16GB 镁光PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存




硬盘
----------------
全闪存是必须的,操作系统盘用的是当初从狗哥那里买的四块工程版的Micron M500DC 800GB。数据磁盘是20块INTEL S3710 400GB。缓存盘用的是4块INTEL P3605 1.6TB NVMe(我知道这个配置不太合理,缓存有点大,而作为持久化存储的SATA SSD又有点小,不过自己瞎玩,也就不那么计较了)




网卡
---------------------
C6220 II每个节点除了带外管理的网口外,各有两个I350千兆电口。我的实验环境已经都升到了万兆光口,所以给他们加上万兆网卡就是必须的了。为了留下宝贵的唯一的PCIe扩展槽给NVMe SSD,只能选择万兆光口的刀卡。

C6220 II提供了Mellanox ConnectX-2的双口QSFP套件。从某宝上淘到了四块全新未拆封的四套。








这个卡默认是支持2个40Gb的IB端口,但如果改为ETH端口,就只有10Gb,而且不支持三层路由。不过这对我来说不是问题,因为我的交换机就是10Gb的,我也没打算让他们跨路由。更巧的是,手上正好有8个QSFP转SFP+的转接头。
不过细心的朋友可能已经发现,上面的套件是C6100的配件。装在C6220 II上支架不匹配,后来换上了C6220的支架。


配置清单
------------------------
节点一:
  • 2颗E5-2695V2正显(2.4G,12核24线程)
  • 16根16GB 现代PC3L-12800R,共256GB内存
  • 1块Micron M500DC 800GB作为操作系统盘
  • 5块Intel S3710 400GB作为数据盘
  • 1块Intel P3605 1.6TB作为缓存设备
  • 2个Mellanox ConnectX-2 QSFP网口


节点二:
  • 2颗E5-2695V2正显(2.4G,12核24线程)
  • 8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
  • 1块Micron M500DC 800GB作为操作系统盘
  • 5块Intel S3710 400GB作为数据盘
  • 1块Intel P3605 1.6TB作为缓存设备
  • 2个Mellanox ConnectX-2 QSFP网口


节点三:
  • 2颗E5-2695V2正显(2.4G,12核24线程)
  • 8根16GB 三星PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
  • 1块Micron M500DC 800GB作为操作系统盘
  • 5块Intel S3710 400GB作为数据盘
  • 1块Intel P3605 1.6TB作为缓存设备
  • 2个Mellanox ConnectX-2 QSFP网口


节点四:
  • 2颗E5-2695V2正显(2.4G,12核24线程)
  • 8根16GB 镁光PC3L-12800R,8根8GB 三星PC3-12800R,共192GB内存
  • 1块Micron M500DC 800GB作为操作系统盘
  • 5块Intel S3710 400GB作为数据盘
  • 1块Intel P3605 1.6TB作为缓存设备
  • 2个Mellanox ConnectX-2 QSFP网口


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
larryexchange  楼主| 发表于 2017-2-22 07:01 | 显示全部楼层

安装,遇到的问题及解决

本帖最后由 larryexchange 于 2017-2-27 15:51 编辑

1. 关于C6220 II的两种背板
-------------------------------------
C6220 II同样是24块2.5寸盘的系统,有两种背板,一种是楼主这种没有SAS Expander的被动背板,另一种是集成了SAS Expander的背板。优缺点如下:

被动背板:
  • 优点:简单,24块盘,每个节点6块盘;支持板载的SATA口,无需加扩展卡也可以识别全部24块硬盘。
  • 缺点:不能够做到将24块盘在四个节点间自由分配;即便是用了SAS HBA卡,由于没有SAS Expander,不能提供某些软件定义存储所需要SES Enclousure信息
集成SAS Expander的背板:
  • 优点:能将24块盘在四个节点间自由分配;有SAS Expander,能提供某些软件定义存储所需要SES Enclousure信息
  • 缺点:必须添加SAS HBA卡,否则由于有SAS Expander的存在,板载的SATA接口是不能和SAS Expander一同工作的的
    我本意是想买集成SAS Expander背板的C6220 II,可惜一来这样的机器很少,二来很多卖家自己也搞不清楚。加上考虑到刀卡的位置装万兆网卡更加合理,也就不纠结是否一定要有SAS Expander的了。

2. 如何利用仅有的两个扩展槽
-------------------------------------
紧凑系统牺牲了扩展性。C6220 II上仅有两个扩展槽(事实上是三个,但由于其中一个PCIe 3.0扩展槽是给2U的节点用的,对于1U的节点没有空间安装Riser卡,故而官方文档都没有把它算在内),一个是可以安装PCIe 3.0 x8的刀卡,另一个是PCIe 3.0 x16的半高半长标准卡(商家的C6220 II准系统没有包括PCIe Riser卡,自己买的话部件号是0JJ7Y5,同C6220通用。卡的样子借用一下卖家的几张图。注意转接卡应该还配有如图的USB线。因为这卡上还有一个TF卡插槽,可以将系统装在TF卡上引导。






下面是我考虑的几种刀卡+PCIe卡的组合。(都是螺蛳壳里做道场,没有办法的事)

组合一:Mellanox ConnectX-2万兆网卡 + INTEL P3605 1.6TB NVMe SSD
  • 优点:万兆RDMA,NVMe缓存和SSD持久化存储,一个都不缺。而且全SATA/NVMe的配置下,无需SAS Expander提供SES Enclosure信息。
  • 缺点:5个数据盘的SATA口中有4个是SATA2

组合二:Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡
  • 优点:万兆RDMA;6个盘位支持SATA3,也可以支持12G的SAS3磁盘。而且由于这个HBA还内置了虚拟SES Enclosure,没有真的SAS Expander也不影响他用SAS盘构建分布式存储。
  • 缺点:没有安装NVMe的位置了。

组合三:LSI 9211-8i + Chelsio T520万兆网卡
  • 优点:万兆RDMA,而且Chelsio的卡比Mellanox的更好用,且支持跨路由;6个盘位支持SATA3,也可以支持6G的SAS2磁盘。
  • 缺点:没有安装NVMe的位置了;不知道LSI 9211-8i的刀卡是否能够刷成真正的HBA卡;即便可以刷,如果用SAS的SSD由于无SES信息,无法被某些软件定义存储的方案所支持

组合四:LSI 9211-8i + INTEL P3605 1.6TB NVMe SSD
  • 优点:6个盘位支持SATA3,也可以支持6G的SAS2磁盘;而且有NVMe作为缓存层
  • 缺点:没有了万兆RDMA网卡;不知道LSI 9211-8i的刀卡是否能够刷成真正的HBA卡;即便可以刷,如果用SAS的SSD由于无SES信息,无法被某些软件定义存储的方案所支持

组合五:Mellanox ConnectX-2万兆网卡 + Adaptec 12G HBA卡 + SAMSUNG PM953 960GB NVMe SSD (通过PCIe延长线使用上第二个PCIe 3.0的槽)
  • 优点:万兆RDMA,NVMe缓存和SSD持久化存储,一个都不缺。而且不论插入的是SATA SSD还是SAS SSD都可以支持;SAS还支持12G的SAS3;HBA支持虚拟SES,可以提供SES Enclosure信息。
  • 缺点:可行性尚未验证

现阶段选择的是组合一,也会尝试组合五的可能性,毕竟组合五更加完美。


3. 买到的Mellanox刀卡支架无法固定
-------------------------------------
买到的Mellanox刀卡套件是为C6100设计的,故而支架放在C6220 II上螺孔对不上,无法固定。见下图:


卖家重新发给我四个针对C6220的支架。但不是Mellanox卡的,估计是四电口的那个刀卡的配件。虽然不完美(有点漏风,另有一个螺丝孔位对不上)但也算解决了万兆RDMA光口的问题。也就不计较那么多了。

下面是其中两个节点固定好的样子


升级最新的固件后,安装最新的驱动,而后更改端口从IB变为ETH


用上了之前提到的QSFP转SFP+的转接头


此时,系统中已经可以争取识别两块万兆网卡。



4. 其中一个节点报告电池电量低
-------------------------------------


电池的型号是CR2032锂电。自己从超市花5元钱买了个同规格的电池换上,恢复正常。



5. 散热和噪音
-----------------------------------------
四个节点同时进行稳定性测试,CPU的温度在80度上下。至于噪音么,没有独立的设备间,还是不要考虑放在家中了。楼主是托管在单位的实验室机房。



6. Mellanox ConnectX-2万兆网卡不支持SMB Direct
--------------------------------------------------------------
在STH上有人说成功地用ConnectX-2在S2D上启用了RoCE。但是我的初步测试发现RDMA没有启用。我有另一套群集用的是ConnectX-3网卡,在同样条件下,使用RoCE就没有任何问题。后来看了Mellanox的官方文档(http://www.mellanox.com/pdf/whit ... dows_Server_Eth.pdf),明确说ConnectX-2不支持SMB Direct。虽然是万兆网卡,但没了RDMA,性能上还是要打些折扣。




补充内容 (2017-4-2 19:32):
不支持RDMA的问题,已经通过@priest 在#24楼提供的方法解决了。在此再次表示感谢!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
larryexchange  楼主| 发表于 2017-2-22 07:01 | 显示全部楼层
搭建超融合的S2D群集。


补充内容 (2017-4-2 19:34):
由于拖拖拉拉太长时间,本贴已经不能再编辑,故而将软件部分另开了一个新帖
http://bbs.pceva.com.cn/thread-137768-1-1.html
larryexchange  楼主| 发表于 2017-2-22 07:01 | 显示全部楼层
写在最后的话。
尊称 发表于 2017-2-22 08:05 | 显示全部楼层
长见识了…………
hfxiaozi 发表于 2017-2-22 11:49 | 显示全部楼层
施工中吧,前排围观
miao656963 发表于 2017-2-22 12:24 | 显示全部楼层
我就问造价多少。。。造价多少。。。造价多少。。。
larryexchange  楼主| 发表于 2017-2-22 13:44 | 显示全部楼层
miao656963 发表于 2017-2-22 12:24
我就问造价多少。。。造价多少。。。造价多少。。。

按照第二帖中目前的配置,8W+
菲尼克斯 发表于 2017-2-22 13:47 | 显示全部楼层
为啥对服务器首选是颜值?颜值控么?
miao656963 发表于 2017-2-22 16:05 | 显示全部楼层
菲尼克斯 发表于 2017-2-22 13:47
为啥对服务器首选是颜值?颜值控么?

自己花钱,当然靠考虑颜值啦。。。。每天摸下也好的。
nighttob 发表于 2017-2-22 17:45 | 显示全部楼层
ConnectX-2用的还是QSFP
联想是有好多“四胞胎”机型,不过基本上都是出给特定客户的
上个月看到了一台Purley平台的四胞胎工程机
Apache 发表于 2017-2-23 22:11 | 显示全部楼层
碉堡,楼主拿这个仍家里面吗?
来自苹果客户端来自苹果客户端
larryexchange  楼主| 发表于 2017-2-24 12:54 | 显示全部楼层
Apache 发表于 2017-2-23 22:11
碉堡,楼主拿这个仍家里面吗?

目前托管在单位实验室机房
larryexchange  楼主| 发表于 2017-3-3 21:58 | 显示全部楼层
拖得时间有点长,没法更新原帖了,我将本应该放在4楼的内容发在存储区 “在DELL C6220 II 四子星上搭建分布式存储” http://bbs.pceva.com.cn/forum.ph ... p;extra=#pid1580738
ninjasex 发表于 2017-3-10 18:56 | 显示全部楼层
经典,学习,也弄一套
hhm73 发表于 2017-3-11 10:32 | 显示全部楼层
一般家用那会组这玩意啊,还要空调侍候
priest 发表于 2017-3-21 13:58 | 显示全部楼层
请问下楼主PCIe Raiser的支架购买渠道有吗?找遍整个TB只有一家单买6220的Raiser,但是只有板子没有支架,而且150元贼贵
larryexchange  楼主| 发表于 2017-3-21 14:04 | 显示全部楼层
本帖最后由 larryexchange 于 2017-3-21 14:06 编辑

发重复了,删去
larryexchange  楼主| 发表于 2017-3-21 14:05 | 显示全部楼层
priest 发表于 2017-3-21 13:58
请问下楼主PCIe Raiser的支架购买渠道有吗?找遍整个TB只有一家单买6220的Raiser,但是只有板子没有支架, ...

不需要支架,支架服务器本身就带了,只要买提升卡就行了。我有几片提升卡就是从你说的那家买的。也是那个价。不过他们家的没有那根USB线,如果要用TF卡引导系统的,还需要单独买线。
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部