关于512e硬盘的性能
本帖最后由 eterfinity 于 2019-10-4 17:08 编辑发这个帖子的起因很凑巧
一台dell R740XD配了H740P阵列卡8GB缓存 --LSI 9460的仅sas/sata模式OEM卡，18块14TB sata硬盘，东芝的MG07ACA1
其中12块盘做了一组Raid6 ，使用windows2016的iscsi target ， 挂给另一组机器上的虚拟机里面的Veeam备份软件做仓库盘 - 文件系统是 ReFS
服务器之间用Mellanox connect-x 3 pro 双口万兆网卡通过万兆交换机连接 ， 这里网络设备完全不是瓶颈
一开始，iscsi盘使用精简vhdx，Veeam软件中没有对仓库盘做任何限速时， 写入速率一超过280MB/s， 就很容易观察到分区访问超时过2分钟左右恢复，
即Refs短暂拥堵"掉盘" ---------此处注意NTFS无论什么速率都没有吊盘现象，但这个备份软件需要Refs；
经过多次调试与观察，限速为155MB/s可保持全程不掉盘；
后来，将iscsi盘改为固定vhdx，Veeam软件中没有对仓库盘做任何限速时， 写入速率一超过360MB/s ， 同样很容易观察到分区访问超时；
同样经过多次调试与观察，限速为240MB/s可保持全程不掉盘；
以上结果与一个事实高度一致--------windows对东芝的512e机械盘填0（diskpart clean all）的速率大约也就是80MB/s
这台服务器上除了12盘raid6两块全局热备之外 还有4块盘做的raid10，经过简单的测试 当raid6不发生大量读写的时候，这个raid10的顺序写性能约270MB/s
经过好多天的测试观察，得出结论，东芝512e sata盘在当代性能爆炸的阵列卡上， 多块盘做阵列的单盘顺序写入性能约为30MB/s
此处恰好另一组机器是东芝的10T SAS盘 MG06SCA10TEY，也是512e， 两台服务器做的双节点VSAN。SSD:HDD=1:5
昨天借助转换VSAN虚拟机存储策略条带数量时 （此时SSD层的写缓存会临时被禁用），测试了一把SSD缓存外的写入性能
strip=2时crystaldiskmark 顺序写入成绩 67MB/s， strip=8时 cdm顺序写入成绩为210MB/s
同样印证了多盘协调时，512e SAS单盘30MB/s左右的写入能力
那么下面问题来了
512E机械盘是不是完全比不上QLC SSD ， 毕竟机械盘年吞吐量的厂方建议数值，也就550TB 5年也就折算为150PE
况且多盘做阵列时，这30MB/s的速率 要想一年传输550TB需要平均每天的2/3时间在满载工作。。。。。
顶帖后，我慢慢看。看不太懂 前几天看了一个MG06和MG07的FW BUG report，大概意思是Queue接近128时候再收到command就会变傻，连主机发HARD RESET都会呆住，然后就GG了
9月被fix了
我倒是觉得这跟512e关系不大，纯粹是容量堆太高以后重负载能力变低了
SSD也一样 本帖最后由 eterfinity 于 2019-10-4 23:29 编辑
nighttob 发表于 2019-10-4 21:34
前几天看了一个MG06和MG07的FW BUG report，大概意思是Queue接近128时候再收到command就会变傻，连主机发HA ...
嗯一开始也查到这个fw fix， 且还确认了 VSAN HCL在9月25日的版本中，只认证了全闪存，
LSI sas3.5系列的卡挂载混合模式硬盘的兼容性认证从json文件的段落大标题中被移除了 （passthrough 的QD=254，说就是这个QD254 硬盘吃不消）
问题比较残酷
此外 昨天夜里为了验证
特地拿2块东芝的ABA300，3T的SATA盘， 加两块ssd， 搭了个vsan最小化系统，用strip=1去测试
缓存外写入只有可怜的18MB/s ，
只能说不得不怀疑512e， 或者说东芝家的512e或许有毒
作为对比换成ST的900G 15K 512n ， 缓存外strip=1写入很正常有230M/s
我觉得有机会应该试试4Kn
512e我觉得除了ST以外其他家都是有毒 本帖最后由 eterfinity 于 2019-10-4 23:38 编辑
nighttob 发表于 2019-10-4 23:29
我觉得有机会应该试试4Kn
512e我觉得除了ST以外其他家都是有毒
4kn一点问题都没 亲测每节点4个diskgroup， 每个diskgroup 3块4kn的盘时跨故障域双侧读取能上6000写入能上2500当时为了限制这个速率 还特地对40Gbps的口开了50% PFC nighttob 发表于 2019-10-4 21:34
前几天看了一个MG06和MG07的FW BUG report，大概意思是Queue接近128时候再收到command就会变傻，连主机发HA ...
这破fw升也不是不升也不是
我都不知道从哪儿开始下嘴了
VSAN永远是被针对的对象
感觉有些update就是专门为了治疗像我这种up-to-date强迫症的
然后还顺便给Quality和RD找BUG提 楼主今天的贴一下子解答了我下面这个疑惑：
为什么qlc，tlc产品比mlc烂这么多但厂家照样全线上阵开倒车
原来是某些条件下，竞争对手更烂的缘故{:1_528:}
页:
[1]