PCEVA,PC绝对领域,探寻真正的电脑知识
打印 上一主题 下一主题
开启左侧

入手DELL C6220 II 四子星,踏上新的折腾征程(挤牙膏中... )

[复制链接]
跳转到指定楼层
1#
点击数:15999|回复数:40
本帖最后由 larryexchange 于 2017-2-22 12:08 编辑

一直想给自己的实验室添加一个超融合的群集。有这想法很久了,最近出了一些东西,凑了点钱,决定搞起。先分享一下选择的心路历程。一直耽于写长文,不过这次确实折腾的有点狠,觉得有必要记录下来给自己一个交代 :)

同样是集成四台服务器系统,几年前就考虑过DELL的VRTX。主要优点是颜值高、噪音小(相对于机架式服务器);主要缺点是贵,再加上25块磁盘无法真正直通分给四个节点,不适合作为软件定义存储。故而放弃。


就在那时,DELL的朋友向我推荐了C系列的服务器。这是我第一次见到C系列的四子星这样的东西。坦白说颜值不够啊。后来在@allenxml  那儿欣赏他搭建的四路E7/ 1TB内存的服务器时,他也向我提过超微也有这么个东西。一样是四个节点,四子星更加紧凑(2U,而不是VRTX的5U),节点之间除了共享电源,别的全都独立。这样的结构更加简单。特别是二手的C6220简直就是白菜价,4节点,24个2.5寸盘位的准系统只要7500。盘算着加上8块E5-2670,也就1万出头。DDR3的内存也比DDR4要便宜多了。下面就是C6220的样子。



在做了一点功课后,很快就发现了C6220的不足:
  • 不支持Ivy Bridge。相较于Sandy Bridge,Ivy Bridge除了有更多核心以外,新的架构配合新的Offload技术可以提供更好的网络虚拟化和存储虚拟化性能。
  • PCIe扩展槽是PCIe 2.0的而不是3.0的。我打算配上全闪存,这样这个PCIe 2.0可能就会成为我的瓶颈,无论是装x8的HBA卡,还是用NVMe的盘做缓存。
  • 板载的6个SATA接口有4个是SATA2。
  • 没有集成万兆网卡。不过好在可以通过外加刀卡的方式扩展一个双口Mellanox ConnectX-2。

于是又将目光转向INTEL H2000系统,看中的型号是H2216WPQKR(http://ark.intel.com/products/61 ... r-System-H2216WPQKR),可以装16块2.5寸的硬盘



H2216WPQ除了磁盘数量比C6220少,只有16块2.5寸硬盘外,别的都完胜。包括上面列举的C6220的不足。但是... ... 年前开始到年后,全网都缺货,首先Ivy Bridge这种老平台肯定已经早就停产了,存货也都是12块3.5寸的H2312,而且还不带万兆光口,加上INTEL的H2000的节点远程管理模块RMM都是选配的,这也会增加不少成本。

不得已只得又重新开始寻找合适的四字星。这时候之前被我直接忽略的C6220 II重新回到了我的视野里。之前忽略主要是觉得C6220 II仅仅是比C6220多支持了E5-V2的CPU,就贵了很多,性价比不高。而且SATA也还是一样的只有两个是SATA3的。

重新仔细研究了C6220 II与C6220的区别(见下图)


发现了C6220 II除了CPU可以支持E5-V2以外(DDR3时代最多只能支持到V2,V3开始就需要新的主板和DDR4的内存了),至少还可以支持PCIe 3.0标准扩展槽。通过刀卡,也可以支持6Gbps的SATA/SAS盘。这样C6220上的几点不满意的地方多少都有变通的方法可以解决。

决定了,就是它了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
41#
handspring 发表于 2017-8-21 09:48 | 只看该作者
larryexchange 发表于 2017-8-21 01:45
最简单的方法就是没有增加RAID卡或HBA卡的时候,能否识别SATA硬盘,如用主板上的口可以死别SATA盘,那就 ...

了解了,多谢!
40#
larryexchange  楼主| 发表于 2017-8-21 01:45 | 只看该作者
handspring 发表于 2017-8-20 21:30
还有个关于集成SAS Expander背板的问题想问下楼主,有什么办法可以分辨这样的C6220 II么?我估计和淘宝上 ...

最简单的方法就是没有增加RAID卡或HBA卡的时候,能否识别SATA硬盘,如用主板上的口可以死别SATA盘,那就是直通的。如果非得加RAID卡或HBA卡才能识别硬盘,则是用的带SAS Expander的背板。

如果要肉眼分别,就看有没有下图的板卡。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
39#
larryexchange  楼主| 发表于 2017-8-21 01:40 | 只看该作者
handspring 发表于 2017-8-20 21:25
有一点没看明白,既然只用10G而非40G IB,那干嘛不用X520的双口万兆夹层卡?除了不支持RDMA外,这卡便宜 ...

要的就是RDMA。QSFP转SFP+也并不麻烦。
38#
handspring 发表于 2017-8-20 21:30 | 只看该作者
larryexchange 发表于 2017-2-22 07:01
1. 关于C6220 II的两种背板
-------------------------------------
C6220 II同样是24块2.5寸盘的系统,有 ...

还有个关于集成SAS Expander背板的问题想问下楼主,有什么办法可以分辨这样的C6220 II么?我估计和淘宝上的这些掌柜们也说不清楚这个,有没有什么比较简单的方法或者拍某个关键部位的照片可以分辨下的?

37#
handspring 发表于 2017-8-20 21:25 | 只看该作者
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

有一点没看明白,既然只用10G而非40G IB,那干嘛不用X520的双口万兆夹层卡?除了不支持RDMA外,这卡便宜很多,还不用转来转去的。
36#
priest 发表于 2017-4-5 14:22 | 只看该作者
qiaopeng1231 发表于 2017-4-1 15:53
是的。
我在想,假设机箱通用。
可以买C6220的机箱啊。

问题是C6320板子的市场保有量实在太小了,远不及C6220,更别提C6110
所以到时候就算内存和CPU都有大船货,板子小众也是很难找着合适的
不过倒是可以考虑C6320+C6220混插,这样万一要升级也有空间

35#
priest 发表于 2017-4-5 14:18 | 只看该作者
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

恭喜,这卡的突出优点就是便宜,买两块刀片,用这个做数据交换的互联感觉美滋滋
然而刀片数目再增加,就必须上mellanox的交换机,那玩意奸商抬价太厉害了,买不起
34#
priest 发表于 2017-4-5 14:16 | 只看该作者

大神也有看走眼的时候
PCIE 1.0 X8, 带宽 5.0Gbps
感觉PCIE发展遇到瓶颈,现在的德性恨不得内存都整合到cpu里,闪存整合到内存里,
不会再有大的作为

33#
nighttob 发表于 2017-4-2 21:43 | 只看该作者
larryexchange 发表于 2017-4-2 20:42
那是5.0Gbps X8,也就是2.0 x8

好吧,眼花了

32#
larryexchange  楼主| 发表于 2017-4-2 20:42 | 只看该作者
nighttob 发表于 2017-4-2 20:10
我就注意到PCIE 5.0了

虽然说Mellanox确实叼,首批PCIe 4.0的就是ConnextX-6

那是5.0Gbps X8,也就是2.0 x8
31#
nighttob 发表于 2017-4-2 20:10 | 只看该作者
larryexchange 发表于 2017-4-2 19:20
乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的E ...

我就注意到PCIE 5.0了

虽然说Mellanox确实叼,首批PCIe 4.0的就是ConnextX-6
30#
larryexchange  楼主| 发表于 2017-4-2 19:20 | 只看该作者
priest 发表于 2017-3-24 14:41
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几 ...

乘着出差在外,周末有时间,按照STH上的那篇文章修改并更新了固件,果然可以支持RDMA了。而且我还是用的ETH模式,并在Windows Server 2016下。给你大写的赞!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
29#
qiaopeng1231 发表于 2017-4-1 15:53 | 只看该作者
priest 发表于 2017-4-1 09:43
看淘宝链接上的介绍,以及节点主板接口的定义,C6320似乎是可以和C6220共用机箱的
但现在的问题是C6320并 ...



是的。
我在想,假设机箱通用。
可以买C6220的机箱啊。
然后先配一路刀片回家凑合用着。随后等V4的CPU降价和DDR4 降价后,再上3个刀片。


28#
priest 发表于 2017-4-1 09:43 | 只看该作者
qiaopeng1231 发表于 2017-3-31 13:36
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别? ...

看淘宝链接上的介绍,以及节点主板接口的定义,C6320似乎是可以和C6220共用机箱的
但现在的问题是C6320并没有大船,或者这货本来就不会有大船
之前看到一家板子卖1300,现在好像提价了
而且这货要用E5 V3/V4的U,DDR4 REG内存,这两样现在哪个都不便宜

27#
larryexchange  楼主| 发表于 2017-3-31 17:16 | 只看该作者
qiaopeng1231 发表于 2017-3-31 13:36
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别? ...

抱歉C6320没有接触过,不敢乱说。但看名字应该是类似的。
26#
qiaopeng1231 发表于 2017-3-31 13:36 | 只看该作者
请教下楼主,C6320,结构是不是跟C6220几乎一样?
只是E5-2600 V3/V4  以及DDR4 的区别?
25#
larryexchange  楼主| 发表于 2017-3-24 18:57 | 只看该作者
priest 发表于 2017-3-24 14:41
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几 ...

多谢多谢!看STH上那篇文章用的是IB,我回头试试ETH能不能启用。再次感谢!
24#
priest 发表于 2017-3-24 14:41 | 只看该作者
对了,关于ConnectX2上启用RDMA的方法,网上有帖子介绍,就是用欺骗的方法刷新一下某些版本的固件,我的几张卡都用这种办法刷新成功了(不过是普通刀卡,不是这种夹层卡)
可以参考https://www.servethehome.com/cus ... indows-server-2012/
23#
priest 发表于 2017-3-23 10:38 | 只看该作者
larryexchange 发表于 2017-3-21 17:48
淘宝没有就ebay吧。

又去淘宝逛了一圈,之前有商品链接但没货的这次有货了,已经下单
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部