在DELL C6220 II 四子星上搭建分布式存储

原来的发在开箱、装机讨论区的帖子“入手DELL C6220 II 四子星，踏上新的折腾征程”拖了太长时间，已经不能编辑了。但还缺少实现分布式存储的软件部分，加上这个部分不属于开箱或装机的内容，故而发在的存储区。

想了解这套四子星的装机过程可以点击上面的链接。

0.操作系统的准备
--------------
首先在四台上面都安装上Windows Server 2016，并通过在线更新打上所有的补丁（这点很重要，RTM版本对于S2D支持上面有不足）。然后在每个节点上安装下面的组件。

1. Install-WindowsFeature –Name Hyper-V, File-Services, Failover-Clustering, Data-Center-Bridging -IncludeManagementTools –Restart

复制代码

1.配置RoCE网络策略
---------------
如果你使用iWARP的RDMA，或者网卡压根不支持RDMA，可以略过这个部分。

1. New-NetQosPolicy “SMB” –NetDirectPortMatchCondition 445 –PriorityValue8021Action 3
   
2. Enable-NetQosFlowControl –Priority 3
   
3. Disable-NetQosFlowControl –Priority 0,1,2,4,5,6,7
   
4. Enable-NetAdapterQos –InterfaceAlias “SLOT 7","SLOT 7 2"
   
5. New-NetQosTrafficClass “SMB” –Priority 3 –BandwidthPercentage 30 –Algorithm ETS

复制代码

2.添加虚拟交换机
---------------
在每个节点上运行下面的脚本。

1. New-VMSwitch -Name Internal-Switch -NetAdapterName “SLOT 7","SLOT 7 2" -EnableEmbeddedTeaming $true -AllowManagementOS $false
   
2. Add-VMNetworkAdapter -SwitchName Internal-Switch -Name SMB_1 -managementOS  
   
3. Add-VMNetworkAdapter -SwitchName Internal-Switch -Name SMB_2 -managementOS
   
4. Set-VMNetworkAdapterVlan -VMNetworkAdapterName "SMB_1" -VlanId 200 -Access -ManagementOS  
   
5. Set-VMNetworkAdapterVlan -VMNetworkAdapterName "SMB_2" -VlanId 200 -Access -ManagementOS
   
6. Enable-NetAdapterRDMA "vEthernet (SMB_1)","vEthernet (SMB_2)"

复制代码

3.加入域
----------------
在每个节点上运行下面的脚本，并重新启动

1. Get-NetIPConfiguration | Set-DnsClientServerAddress -ServerAddresses "192.168.20.3"
   
2. $PlainPassword = "password"
   
3. $SecurePassword = $PlainPassword | ConvertTo-SecureString -AsPlainText -Force
   
4. $UserName = "infra\administrator"
   
5. $domainCred = New-Object System.Management.Automation.PSCredential -ArgumentList $UserName, $SecurePassword
   
6. Add-Computer -DomainName INFRA.LAB -Credential $domainCred

复制代码

4.安装和配置Storage Space Direct (S2D)群集
----------------------
以域管理员的角色登录到节点一, 运行下面的脚本（只需要在节点一运行）：

1. $nodes = ("SERVER-C6222-1", "SERVER-C6222-2", "SERVER-C6222-3", "SERVER-C6222-4")
   
2. $S2DCluster = New-Cluster -Name ECGCAT-R7-C1 -Node $nodes –NoStorage –StaticAddress 192.168.20.48
   
3. Enable-ClusterS2D
   
4. 
   
5. Get-ClusterNode |% {New-Volume -StoragePoolFriendlyName S2D* -FriendlyName $_ -FileSystem CSVFS_ReFS -Size 600GB -PhysicalDiskRedundancy 2}
   
6. New-Volume -StoragePoolFriendlyName S2D* -FriendlyName collect -FileSystem CSVFS_ReFS -Size 110GB -PhysicalDiskRedundancy 1

复制代码

可以对比启用S2D前后从节点一上所看到的磁盘数量的变化。可以发现启用S2D后，节点可以识别出整个群集中所有4块NVMe盘和20块SATA盘。并且自动将NVMe盘作为了缓存来使用，而SATA则作为了持久化存储。


上面脚本的最后两条命令，创建了和节点数量相同的数量的虚拟磁盘（SPACE），容量是600GB一个，每个都采用了3路镜像。另外还创建了一个2路镜像的小虚拟机磁盘用于放置后面的测试工具。下面是运行后从群集管理器中看到结果。




到此为止我们已经有了一台四个节点的超融合分布式虚拟化群集。

yanest 发表于 2017-12-12 12:52
新的五千多还是淘宝上二手啊？

当然是某宝二手的了，新的估计要加个零

larryexchange 发表于 2017-12-11 23:01
2年前5000多买过一台DELL的8024F，是那时我能够找到最便宜的支持PFC的万兆光口交换机了。
...

新的五千多还是淘宝上二手啊？

yanest 发表于 2017-12-11 20:54
支付PFC的交换机有便宜的推荐吗？

2年前5000多买过一台DELL的8024F，是那时我能够找到最便宜的支持PFC的万兆光口交换机了。

larryexchange 发表于 2017-12-11 18:52
RoCE必须要PFC的

支付PFC的交换机有便宜的推荐吗？

yanest 发表于 2017-12-11 11:31
请问楼主，RoCE网络，交换机PFC是可选项吗？使用普通不具有PFC的交换机是否可行 ...

RoCE必须要PFC的

请问楼主，RoCE网络，交换机PFC是可选项吗？使用普通不具有PFC的交换机是否可行

handspring 发表于 2017-8-22 19:12
广达没这么悲催吧？传说C6220也是广达代工的呀

至少找呆鹅的support要比找广达方便得多
我是经历过被广达放弃治疗的

nighttob 发表于 2017-8-22 16:41
珍爱生命

有呆鹅这样的产品还是别考虑什么广达了，等用起来就知道有多糟心了

广达没这么悲催吧？传说C6220也是广达代工的呀

很全的经验教程  谢谢楼主的分享

handspring 发表于 2017-8-22 16:06
最近在淘宝上发现另一个神器，广达的4子星T41S-2U。
优点：
1. C610，支持E5 v3和v4，DDR4 RDIMM内存

珍爱生命

有呆鹅这样的产品还是别考虑什么广达了，等用起来就知道有多糟心了

larryexchange 发表于 2017-8-21 14:05
经过几番调整，最终我选择了如下的搭配：
1. 操作系统盘使用SAMSUNG PM953 960GB，这样可以将前面板的24 ...

最近在淘宝上发现另一个神器，广达的4子星T41S-2U。
优点：
1. C610，支持E5 v3和v4，DDR4 RDIMM内存
2. 自带LSI 3008 HBA卡，子卡，在vSAN的HCL中
3. 自带双口万兆卡，82599，子卡
4. 最好的优点，还空余1个PCIE 3.0 x16插槽
唯一的缺点：价格价格价格，准系统其实不算贵，但是CPU和内存贵很多，粗略估算了下，要达成和C6220 II接近的性能，内存和CPU的成本翻了一倍都不止

handspring 发表于 2017-8-21 09:55
最近也在考虑用6220 II跑VSAN，但是有几个问题：
1. 默认SATA AHCI不在VSAN的HCL中
2. 如果加装LSI 2008 ...

经过几番调整，最终我选择了如下的搭配：
1. 操作系统盘使用SAMSUNG PM953 960GB，这样可以将前面板的24个硬盘位都留给S2D用，并形成SSD:HDD的1:2的搭配比例。（你用vSAN可以使用Riser卡上的Micro SD卡作为主机系统）
2. 两个SATA3的口用了S3710 400GB作为缓存设备
3. 四个SATA2的口用了DELL 1TB的SATA 15mm厚盘，作为持久化存储层
4. 网卡还是用了Mellanox的刀卡，刷了固件支持万兆RDMA，通过QSFP转SFP+的转接头连接支持PFC的万兆SFP+交换机

至于你的需求，貌似使用LSI 9207-8i再配上INTEL万兆的刀卡比较合理。至于NVMe就不用考虑了。用两块S3710做缓存设备无论可靠性还是性能都超过大多数NVMe的盘。

qiaopeng1231 发表于 2017-3-3 22:21
4路C6220， 跑VSAN效果如何？
期待楼主出一个VSAN的测试报告。

最近也在考虑用6220 II跑VSAN，但是有几个问题：
1. 默认SATA AHCI不在VSAN的HCL中
2. 如果加装LSI 2008夹层卡，勉强可用，但是这卡也不在HCL中而且占用了双口万兆夹层卡的位置
3. 如果加装LSI 9207i （支持VSAN 6.0 U3的最便宜卡），那就没地方装NVMe了，除非再用Rasied卡

这才是真正的服务器！！！长见识了！

iiiooo 发表于 2017-3-25 00:47
IOPS 50w   节点间带宽跑了多少？

从第二帖最下面图中BW那列，可以看到每个节点的吞吐在500MB/s左右（451-593）。

IOPS 50w   节点间带宽跑了多少？

priest 发表于 2017-3-21 14:00
请问下楼主PCIe Raiser的支架购买渠道有吗？找遍整个TB只有一家单买6220的Raiser，但是只有板子没有支架， ...

在另一个帖子里回复你了。

请问下楼主PCIe Raiser的支架购买渠道有吗？找遍整个TB只有一家单买6220的Raiser，但是只有板子没有支架，而且150元贼贵

Pale_Cheung 发表于 2017-3-5 23:05
密码最好还是不要显示出来。

虽然对自己可能无所谓，但是“有心”的人会收集到字典了。

谢谢提醒，已经都替换为password