对LSI阵列卡玩SSD阵列及CacheCade和Fastpath加速机械盘的解惑

阵列卡 M5210 3108核心 2G缓存 带BBU 功能全开

硬盘国行HUS726040AL5210 8块 RAID6

快餐跑分NRA WB DIO


下面是各种组合测试图 注意观察延迟和速度或者往下爬贴
R-RA&WB&CIO

R-NRA&WB&DIO

R-NRA&WB&CIO

W-NRA&WB&CIO

W-NRA&WB&DIO


后续等上expander后，加CacheCade SSD再测试一回

然后是悲催的成本图 前后3次购买
http://bbs.pceva.com.cn/thread-143352-1-1.html


最近又购入8快全新HUS726060AL5210 平衡了下成本，手上有2套2011主板和若干内存，后续可能上ZFS玩玩

没看出用M5210的目的是啥。
这跑分9270也能跑出来

nighttob 发表于 2018-9-10 14:26
没看出用M5210的目的是啥。
这跑分9270也能跑出来

这卡当时我弄下来和9270全套差不多价格,另外SAS 12G的CacheCade SSD已经准备好。

我现在遇到的一个窘况是M5210插在一个6G的Expander上面，而且没法换。
所以12G的也只能当6G的用，真服了IBM

nighttob 发表于 2018-9-10 15:40
我现在遇到的一个窘况是M5210插在一个6G的Expander上面，而且没法换。
所以12G的也只能当6G的用，真服了IBM ...

机械盘无所谓了，我弄的expander卡也是6G的，M5210两个8643口，准备转一个8087到expander卡，再两条8087一分四带8个机械，剩下一个8643用一分四连SSD。基本用完我全塔机箱所有盘位，90元包邮的expander卡不知道能不能支持4T以上的盘还没测试，当初这全塔机箱就没打算做存储用途，为了安静投了不少钱。现在做存储也不错，所有硬盘满载都不热，丢客厅，噪音关了木门就听不到，最吵的反而成了硬盘。

icyboy 发表于 2018-9-10 15:58
机械盘无所谓了，我弄的expander卡也是6G的，M5210两个8643口，准备转一个8087到expander卡，再两条8087一 ...

所以我决定以后就2个足够大的SSD，RAID1，解决所有问题。

你用的什么系统，Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗？我想看看你的机箱

红色狂想 发表于 2018-9-10 18:07
你用的什么系统，Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗？我想看看 ...

必须都能看到，系统2012，硬盘上还有2008和fedora，机箱追风者614PC，风扇两把A14 PPC 3000调速速1100转吹机箱6盘位，光驱位用EX36B1转了四个3.5配了个12CM的9S 调速1500吹4盘，机箱顶部两把GT1850朝外抽，尾部一把GT2150外抽，GT风扇基本都调速1500转，机箱风扇总共三进风三出风。

发个我去年升级存储的图



5个5TB做RAID 5，WriteBack with BBU，开CacheCade

都是高级货，羡慕

读写破1G，万兆网才能喂得饱了

Mufasa 发表于 2018-9-10 20:09
发个我去年升级存储的图

有CC延迟确实喜人，禁用机械盘缓存后，即使是3108核心，开了CC也是得开WB的，要不写入有时候会掉成渣。改天我再详细测试下。

icyboy 发表于 2018-9-11 00:44
有CC延迟确实喜人，禁用机械盘缓存后，即使是3108核心，开了CC也是得开WB的，要不写入有时候会掉成渣。改 ...

没有电池模块，WriteThrough

按照RAID 5 或者 6 的运行逻辑，必须保证写入数据可靠。
如果同时又设定了DirectIO，磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS，或者冗余电源供电，可以考虑开启Always Write Back
此时的写入速度约等于 N-1（对应R5） N-2（对应R6）

顺便。。。。我的机箱风扇也是GT2150，接主板PWM调速。

对于重负荷应用的服务器，工业扇是很好的选择。

噪音当然会大一点，但出风效果比9S好多了。。。。
（双路E5工作站用的9S，机箱同型号，出风明显弱）

Mufasa 发表于 2018-9-11 10:39
没有电池模块，WriteThrough

按照RAID 5 或者 6 的运行逻辑，必须保证写入数据可靠。
如果同时又设定了DirectIO，磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS，或者冗余电源供电，可以考虑开启Always Write Back
此时的写入速度约等于 N-1（对应R5） N-2（对应R6）

那基本理清了，机械盘用CacheCade缓存加速还是得开Writeback，关Read Ahead。开Write Trough读写都会掉成渣。
机械盘RAID6 NRA&WT&DIO

这里也有用CacheCade加速机械盘开Write Trough和Writeback的对比，
http://we.poppur.com/thread-1760838-1-1.html
查了下，开Writeback的写入顺序是先到卡载RAM缓存L1，有CC的话再到CC L2,最后到机械盘L3。和强悍的企业级SSD比起来，4K写入刚好有是卡载RAM缓存的瓶颈。这样的话CacheCade对4K写的提升该是很有限的，基本就是写入卡载RAM缓存的IOPS，主要提升是小文件读取速度和延迟，后续我用400G的S3710和SAS 12G的HUSMM1600做CacheCade盘分别测下。

下面是玩全SSD阵列的总结

全SSD阵列的话，Fastpath至关重要92XX，93XX(要加CC key才有) ，94XX 默认带针对SSD阵列的Fastpath加速，STRIPE SIZE 64KB大多数应用场合下最优（联想文档），DELL文档有提到只有IO块大小比STRIPE SIZE小的情况下FastPath加速有效，RAID 50 60没Fastpath加速。联想文档只含糊说所有RAID等级，50 60暂照DELL文档所说没有Fastpath加速。

参见
https://lenovopress.com/lp0592-u ... f-megaraid-fastpath

https://www.dell.com/support/man ... 4d7c2e85&lang=en-us

全SSD做阵列设置就是
DIRECT IO
WRITE THROUGH
NO READ AHEAD
DISK CACHE UNCHANGED

STRIPE SIZE 64KB，全SSD阵列256KB的SRIPE SIZE没多大好处，因为SSD盘主控写入单位都很小，具体SSD厂家规格书会提到，另外CacheCade那个VD实际也是SSD阵列，STRIPESIZE也是64KB最佳，默认也是。满足Fastpath加速的设置，必须有下面两个，DIRECT IO，NO READ AHEAD。全SSD用WRITE THROUGH，但是CacheCade加速机械盘或者全机械盘还是得用Writeback，下面有分析。

机械盘阵列现在都默认256KB STRIPE SIZE，全械盘阵列只要满足Fastpath加速设置，即使没有开CacheCade实际也能享受Fastpath的低延迟读取。
NRA&WB&DIO满足Fastpath读取加速设置 读取延迟降低，如果有CacheCade 加速读取延迟还能更低，基本接近SATA SSD。

RA&WB&DIO不满足Fastpath读取加速设置读取延迟和单盘差不多

这是万转SAS 2.5的读取延迟6.6 也比Fastpath加速后的慢很多


这里再补个SSD做各种raid等级的参考
https://mp.weixin.qq.com/s/pCQU3_qNwDpD4zqpV9bUSw


下面是之前挖N版帖子的回复

"最近有时间搞了个2G的缓存和BBU给m5210加上，还是之前的两块HUSMM1600 400G做raid0，习惯性direct IO，开启witeback,和readahead！然后跑分，4K写入不论Q16T4，还是Q32T1都非常辣眼睛，只有188MB，比板主4盘HUS1600MM 200G跑出来的207MB还滑稽，还不如单盘JBOD模式下的速度，然后开始找原因。

发现太多太多一样的测试！比如 9460-16i挂12块三星850PRO 1T RAID 50测试，也是一样的悲催。
仔细想了下，可以排除固件限制。问题就在缓存上，google后答案在这里，
http://sqlblog.com/blogs/joe_cha ... s-cough-giggle.aspx


就这么回事，问题出在回写设置，VD设置改成direct IO，write through，no readahead再测试。速度终正常了！

结论是，企业级SSD不管什么接口的，掉电保护都足够强大，很多企业级固件还有raise，xor等类似raid冗余的功能，所以不论什么raid等级都可以直接忽略LSI RAID卡缓存，有的SSD自带的都不止1G 2G，关writeback和readahead，有UPS更好！

家用级，比如850 pro等没有掉电保护或者掉电保护不是很强大的，也是不论什么raid等级先关write back，raid0请慎重！"

有机会我会测的
机器 卡和盘都有
就是没时间

nighttob 发表于 2018-9-11 12:48
有机会我会测的
机器 卡和盘都有
就是没时间

嗯 你那张M5210不知道有没有开了Fastpath，因为一般缓存模块只激活raid5

这个是1600MM开了Fastpath后2盘raid0

三盘raid0


三盘raid5 写惩罚很厉害了

Mufasa 发表于 2018-9-11 10:43
顺便。。。。我的机箱风扇也是GT2150，接主板PWM调速。

对于重负荷应用的服务器，工业扇是很好的选择。

昨晚测试后更新了下，狮大看看没问题吧。风扇的话9S我只用来做进风，进风的话如果能用14CM我一定会选A14 PPC 3000调速1100-1200转之间，进风量 噪音 震动都完美。我追风者614那个20CM的换了2个A14 A14 PPC 3000 自带盘位全吹透。有2块U.2的P3600也是放盘位，室温25度左右，跑分最高也在50度以下。GT系列基本12CM里面全能。

很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

eterfinity 发表于 2018-9-14 16:52
很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

看什么盘了，U.2的用原配的话估计不太理想，SAS SATA应该没大问题，原配虽然是20CM的，不过转速低，800RPM，进风量自然不如两把A14 PPC 3000调速1100-1200转的大。