本帖最后由 icyboy 于 2018-9-12 13:59 编辑
Mufasa 发表于 2018-9-11 10:39
没有电池模块,WriteThrough
按照RAID 5 或者 6 的运行逻辑,必须保证写入数据可靠。
如果同时又设定了DirectIO,磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。
如果使用了UPS,或者冗余电源供电,可以考虑开启Always Write Back
此时的写入速度约等于 N-1(对应R5) N-2(对应R6)
那基本理清了,机械盘用CacheCade缓存加速还是得开Writeback,关Read Ahead。开Write Trough读写都会掉成渣。
机械盘RAID6 NRA&WT&DIO
这里也有用CacheCade加速机械盘开Write Trough和Writeback的对比,
http://we.poppur.com/thread-1760838-1-1.html
查了下,开Writeback的写入顺序是先到卡载RAM缓存L1,有CC的话再到CC L2,最后到机械盘L3。和强悍的企业级SSD比起来,4K写入刚好有是卡载RAM缓存的瓶颈。这样的话CacheCade对4K写的提升该是很有限的,基本就是写入卡载RAM缓存的IOPS,主要提升是小文件读取速度和延迟,后续我用400G的S3710和SAS 12G的HUSMM1600做CacheCade盘分别测下。
下面是玩全SSD阵列的总结
全SSD阵列的话,Fastpath至关重要92XX,93XX(要加CC key才有) ,94XX 默认带针对SSD阵列的Fastpath加速,STRIPE SIZE 64KB大多数应用场合下最优(联想文档),DELL文档有提到只有IO块大小比STRIPE SIZE小的情况下FastPath加速有效,RAID 50 60没Fastpath加速。联想文档只含糊说所有RAID等级,50 60暂照DELL文档所说没有Fastpath加速。
参见
https://lenovopress.com/lp0592-u ... f-megaraid-fastpath
https://www.dell.com/support/man ... 4d7c2e85&lang=en-us
全SSD做阵列设置就是
DIRECT IO
WRITE THROUGH
NO READ AHEAD
DISK CACHE UNCHANGED
STRIPE SIZE 64KB,全SSD阵列256KB的SRIPE SIZE没多大好处,因为SSD盘主控写入单位都很小,具体SSD厂家规格书会提到,另外CacheCade那个VD实际也是SSD阵列,STRIPESIZE也是64KB最佳,默认也是。满足Fastpath加速的设置,必须有下面两个,DIRECT IO,NO READ AHEAD。全SSD用WRITE THROUGH,但是CacheCade加速机械盘或者全机械盘还是得用Writeback,下面有分析。
机械盘阵列现在都默认256KB STRIPE SIZE,全械盘阵列只要满足Fastpath加速设置,即使没有开CacheCade实际也能享受Fastpath的低延迟读取。
NRA&WB&DIO满足Fastpath读取加速设置 读取延迟降低,如果有CacheCade 加速读取延迟还能更低,基本接近SATA SSD。
RA&WB&DIO不满足Fastpath读取加速设置读取延迟和单盘差不多
这是万转SAS 2.5的读取延迟6.6 也比Fastpath加速后的慢很多
这里再补个SSD做各种raid等级的参考
https://mp.weixin.qq.com/s/pCQU3_qNwDpD4zqpV9bUSw
下面是之前挖N版帖子的回复
"最近有时间搞了个2G的缓存和BBU给m5210加上,还是之前的两块HUSMM1600 400G做raid0,习惯性direct IO,开启witeback,和readahead!然后跑分,4K写入不论Q16T4,还是Q32T1都非常辣眼睛,只有188MB,比板主4盘HUS1600MM 200G跑出来的207MB还滑稽,还不如单盘JBOD模式下的速度,然后开始找原因。
发现太多太多一样的测试!比如 9460-16i挂12块三星850PRO 1T RAID 50测试,也是一样的悲催。
仔细想了下,可以排除固件限制。问题就在缓存上,google后答案在这里,
http://sqlblog.com/blogs/joe_cha ... s-cough-giggle.aspx
就这么回事,问题出在回写设置,VD设置改成direct IO,write through,no readahead再测试。速度终正常了!
结论是,企业级SSD不管什么接口的,掉电保护都足够强大,很多企业级固件还有raise,xor等类似raid冗余的功能,所以不论什么raid等级都可以直接忽略LSI RAID卡缓存,有的SSD自带的都不止1G 2G,关writeback和readahead,有UPS更好!
家用级,比如850 pro等没有掉电保护或者掉电保护不是很强大的,也是不论什么raid等级先关write back,raid0请慎重!" |