本帖最后由 eterfinity 于 2019-10-4 17:08 编辑
发这个帖子的起因很凑巧
一台dell R740XD 配了H740P阵列卡8GB缓存 -- LSI 9460的仅sas/sata模式OEM卡 , 18块14TB sata硬盘,东芝的MG07ACA1
其中12块盘做了一组Raid6 ,使用windows2016的iscsi target , 挂给另一组机器上的虚拟机里面的Veeam备份软件做仓库盘 - 文件系统是 ReFS
服务器之间用Mellanox connect-x 3 pro 双口万兆网卡通过万兆交换机连接 , 这里网络设备完全不是瓶颈
一开始,iscsi盘使用精简vhdx,Veeam软件中没有对仓库盘做任何限速时 , 写入速率一超过280MB/s , 就很容易观察到分区访问超时过2分钟左右恢复,
即Refs短暂拥堵"掉盘" --------- 此处注意 NTFS无论什么速率都没有吊盘现象,但这个备份软件需要Refs;
经过多次调试与观察,限速为155MB/s可保持全程不掉盘;
后来,将iscsi盘改为固定vhdx,Veeam软件中没有对仓库盘做任何限速时 , 写入速率一超过360MB/s , 同样很容易观察到分区访问超时;
同样经过多次调试与观察,限速为240MB/s可保持全程不掉盘;
以上结果与一个事实高度一致--------windows对东芝的512e机械盘填0(diskpart clean all)的速率大约也就是80MB/s
这台服务器上除了12盘raid6 两块全局热备之外 还有4块盘做的raid10 ,经过简单的测试 当raid6不发生大量读写的时候,这个raid10的顺序写性能约270MB/s
经过好多天的测试观察,得出结论,东芝512e sata盘在当代性能爆炸的阵列卡上, 多块盘做阵列的单盘顺序写入性能约为30MB/s
此处恰好另一组机器是东芝的10T SAS盘 MG06SCA10TEY ,也是512e, 两台服务器做的双节点VSAN。SSD:HDD=1:5
昨天借助转换VSAN虚拟机存储策略条带数量时 (此时SSD层的写缓存会临时被禁用),测试了一把SSD缓存外的写入性能
strip=2时 crystaldiskmark 顺序写入成绩 67MB/s , strip=8时 cdm顺序写入成绩为210MB/s
同样印证了多盘协调时,512e SAS单盘30MB/s左右的写入能力
那么下面问题来了
512E机械盘是不是完全比不上QLC SSD , 毕竟机械盘年吞吐量的厂方建议数值,也就550TB 5年也就折算为150PE
况且多盘做阵列时,这30MB/s的速率 要想一年传输550TB 需要平均每天的2/3时间在满载工作。。。。。
|