PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

对LSI阵列卡玩SSD阵列及CacheCade和Fastpath加速机械盘的解惑

[复制链接]
icyboy 发表于 2018-9-10 13:17 | 显示全部楼层 |阅读模式
点击数:1340|回复数:34
本帖最后由 icyboy 于 2018-9-12 16:51 编辑

阵列卡 M5210 3108核心 2G缓存 带BBU 功能全开

硬盘国行HUS726040AL5210 8块 RAID6

快餐跑分NRA WB DIO


下面是各种组合测试图 注意观察延迟和速度或者往下爬贴
R-RA&WB&CIO

R-NRA&WB&DIO

R-NRA&WB&CIO

W-NRA&WB&CIO

W-NRA&WB&DIO


后续等上expander后,加CacheCade SSD再测试一回

然后是悲催的成本图 前后3次购买
http://bbs.pceva.com.cn/thread-143352-1-1.html


最近又购入8快全新HUS726060AL5210 平衡了下成本,手上有2套2011主板和若干内存,后续可能上ZFS玩玩

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
nighttob 发表于 2018-9-10 14:26 | 显示全部楼层
没看出用M5210的目的是啥。
这跑分9270也能跑出来
icyboy  楼主| 发表于 2018-9-10 14:52 | 显示全部楼层
本帖最后由 icyboy 于 2018-9-10 15:02 编辑
nighttob 发表于 2018-9-10 14:26
没看出用M5210的目的是啥。
这跑分9270也能跑出来

这卡当时我弄下来和9270全套差不多价格,另外SAS 12G的CacheCade SSD已经准备好。
来自苹果客户端来自苹果客户端
nighttob 发表于 2018-9-10 15:40 | 显示全部楼层
我现在遇到的一个窘况是M5210插在一个6G的Expander上面,而且没法换。
所以12G的也只能当6G的用,真服了IBM
icyboy  楼主| 发表于 2018-9-10 15:58 | 显示全部楼层
本帖最后由 icyboy 于 2018-9-10 16:07 编辑
nighttob 发表于 2018-9-10 15:40
我现在遇到的一个窘况是M5210插在一个6G的Expander上面,而且没法换。
所以12G的也只能当6G的用,真服了IBM ...

机械盘无所谓了,我弄的expander卡也是6G的,M5210两个8643口,准备转一个8087到expander卡,再两条8087一分四带8个机械,剩下一个8643用一分四连SSD。基本用完我全塔机箱所有盘位,90元包邮的expander卡不知道能不能支持4T以上的盘还没测试,当初这全塔机箱就没打算做存储用途,为了安静投了不少钱。现在做存储也不错,所有硬盘满载都不热,丢客厅,噪音关了木门就听不到,最吵的反而成了硬盘。
来自苹果客户端来自苹果客户端
nighttob 发表于 2018-9-10 17:24 | 显示全部楼层
icyboy 发表于 2018-9-10 15:58
机械盘无所谓了,我弄的expander卡也是6G的,M5210两个8643口,准备转一个8087到expander卡,再两条8087一 ...

所以我决定以后就2个足够大的SSD,RAID1,解决所有问题。

红色狂想 发表于 2018-9-10 18:07 | 显示全部楼层
你用的什么系统,Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗?我想看看你的机箱
icyboy  楼主| 发表于 2018-9-10 18:57 | 显示全部楼层
红色狂想 发表于 2018-9-10 18:07
你用的什么系统,Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗?我想看看 ...

必须都能看到,系统2012,硬盘上还有2008和fedora,机箱追风者614PC,风扇两把A14 PPC 3000调速速1100转吹机箱6盘位,光驱位用EX36B1转了四个3.5配了个12CM的9S 调速1500吹4盘,机箱顶部两把GT1850朝外抽,尾部一把GT2150外抽,GT风扇基本都调速1500转,机箱风扇总共三进风三出风。
来自苹果客户端来自苹果客户端
Mufasa 发表于 2018-9-10 20:09 | 显示全部楼层
发个我去年升级存储的图



5个5TB做RAID 5,WriteBack with BBU,开CacheCade

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
440BX 发表于 2018-9-10 21:21 | 显示全部楼层
都是高级货,羡慕
来自苹果客户端来自苹果客户端
Atom 发表于 2018-9-10 22:44 | 显示全部楼层
读写破1G,万兆网才能喂得饱了
来自苹果客户端来自苹果客户端
icyboy  楼主| 发表于 2018-9-11 00:44 | 显示全部楼层
Mufasa 发表于 2018-9-10 20:09
发个我去年升级存储的图

有CC延迟确实喜人,禁用机械盘缓存后,即使是3108核心,开了CC也是得开WB的,要不写入有时候会掉成渣。改天我再详细测试下。
来自苹果客户端来自苹果客户端
Mufasa 发表于 2018-9-11 10:39 | 显示全部楼层
icyboy 发表于 2018-9-11 00:44
有CC延迟确实喜人,禁用机械盘缓存后,即使是3108核心,开了CC也是得开WB的,要不写入有时候会掉成渣。改 ...

没有电池模块,WriteThrough

按照RAID 5 或者 6 的运行逻辑,必须保证写入数据可靠。
如果同时又设定了DirectIO,磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS,或者冗余电源供电,可以考虑开启Always Write Back
此时的写入速度约等于 N-1(对应R5) N-2(对应R6)
Mufasa 发表于 2018-9-11 10:43 | 显示全部楼层
顺便。。。。我的机箱风扇也是GT2150,接主板PWM调速。

对于重负荷应用的服务器,工业扇是很好的选择。

噪音当然会大一点,但出风效果比9S好多了。。。。
(双路E5工作站用的9S,机箱同型号,出风明显弱)
icyboy  楼主| 发表于 2018-9-11 12:02 | 显示全部楼层
本帖最后由 icyboy 于 2018-9-12 13:59 编辑
Mufasa 发表于 2018-9-11 10:39
没有电池模块,WriteThrough

按照RAID 5 或者 6 的运行逻辑,必须保证写入数据可靠。
如果同时又设定了DirectIO,磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS,或者冗余电源供电,可以考虑开启Always Write Back
此时的写入速度约等于 N-1(对应R5) N-2(对应R6)

那基本理清了,机械盘用CacheCade缓存加速还是得开Writeback,关Read Ahead。开Write Trough读写都会掉成渣。
机械盘RAID6 NRA&WT&DIO

这里也有用CacheCade加速机械盘开Write Trough和Writeback的对比,
http://we.poppur.com/thread-1760838-1-1.html
查了下,开Writeback的写入顺序是先到卡载RAM缓存L1,有CC的话再到CC L2,最后到机械盘L3。和强悍的企业级SSD比起来,4K写入刚好有是卡载RAM缓存的瓶颈。这样的话CacheCade对4K写的提升该是很有限的,基本就是写入卡载RAM缓存的IOPS,主要提升是小文件读取速度和延迟,后续我用400G的S3710和SAS 12G的HUSMM1600做CacheCade盘分别测下。

下面是玩全SSD阵列的总结

全SSD阵列的话,Fastpath至关重要92XX,93XX(要加CC key才有) ,94XX 默认带针对SSD阵列的Fastpath加速,STRIPE SIZE 64KB大多数应用场合下最优(联想文档),DELL文档有提到只有IO块大小比STRIPE SIZE小的情况下FastPath加速有效,RAID 50 60没Fastpath加速。联想文档只含糊说所有RAID等级,50 60暂照DELL文档所说没有Fastpath加速。

参见
https://lenovopress.com/lp0592-u ... f-megaraid-fastpath

https://www.dell.com/support/man ... 4d7c2e85&lang=en-us

全SSD做阵列设置就是
DIRECT IO
WRITE THROUGH
NO READ AHEAD
DISK CACHE UNCHANGED

STRIPE SIZE 64KB,全SSD阵列256KB的SRIPE SIZE没多大好处,因为SSD盘主控写入单位都很小,具体SSD厂家规格书会提到,另外CacheCade那个VD实际也是SSD阵列,STRIPESIZE也是64KB最佳,默认也是。满足Fastpath加速的设置,必须有下面两个,DIRECT IO,NO READ AHEAD。全SSD用WRITE THROUGH,但是CacheCade加速机械盘或者全机械盘还是得用Writeback,下面有分析。

机械盘阵列现在都默认256KB STRIPE SIZE,全械盘阵列只要满足Fastpath加速设置,即使没有开CacheCade实际也能享受Fastpath的低延迟读取。
NRA&WB&DIO满足Fastpath读取加速设置 读取延迟降低,如果有CacheCade 加速读取延迟还能更低,基本接近SATA SSD。

RA&WB&DIO不满足Fastpath读取加速设置读取延迟和单盘差不多

这是万转SAS 2.5的读取延迟6.6 也比Fastpath加速后的慢很多


这里再补个SSD做各种raid等级的参考
https://mp.weixin.qq.com/s/pCQU3_qNwDpD4zqpV9bUSw


下面是之前挖N版帖子的回复

"最近有时间搞了个2G的缓存和BBU给m5210加上,还是之前的两块HUSMM1600 400G做raid0,习惯性direct IO,开启witeback,和readahead!然后跑分,4K写入不论Q16T4,还是Q32T1都非常辣眼睛,只有188MB,比板主4盘HUS1600MM 200G跑出来的207MB还滑稽,还不如单盘JBOD模式下的速度,然后开始找原因。

发现太多太多一样的测试!比如 9460-16i挂12块三星850PRO 1T RAID 50测试,也是一样的悲催。
仔细想了下,可以排除固件限制。问题就在缓存上,google后答案在这里,
http://sqlblog.com/blogs/joe_cha ... s-cough-giggle.aspx


就这么回事,问题出在回写设置,VD设置改成direct IO,write through,no readahead再测试。速度终正常了!

结论是,企业级SSD不管什么接口的,掉电保护都足够强大,很多企业级固件还有raise,xor等类似raid冗余的功能,所以不论什么raid等级都可以直接忽略LSI RAID卡缓存,有的SSD自带的都不止1G 2G,关writeback和readahead,有UPS更好!

家用级,比如850 pro等没有掉电保护或者掉电保护不是很强大的,也是不论什么raid等级先关write back,raid0请慎重!"

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
nighttob 发表于 2018-9-11 12:48 | 显示全部楼层
有机会我会测的
机器 卡和盘都有
就是没时间
icyboy  楼主| 发表于 2018-9-11 13:25 | 显示全部楼层
nighttob 发表于 2018-9-11 12:48
有机会我会测的
机器 卡和盘都有
就是没时间

嗯 你那张M5210不知道有没有开了Fastpath,因为一般缓存模块只激活raid5

这个是1600MM开了Fastpath后2盘raid0

三盘raid0


三盘raid5 写惩罚很厉害了

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
icyboy  楼主| 发表于 2018-9-12 14:06 | 显示全部楼层
Mufasa 发表于 2018-9-11 10:43
顺便。。。。我的机箱风扇也是GT2150,接主板PWM调速。

对于重负荷应用的服务器,工业扇是很好的选择。

昨晚测试后更新了下,狮大看看没问题吧。风扇的话9S我只用来做进风,进风的话如果能用14CM我一定会选A14 PPC 3000调速1100-1200转之间,进风量 噪音 震动都完美。我追风者614那个20CM的换了2个A14 A14 PPC 3000 自带盘位全吹透。有2块U.2的P3600也是放盘位,室温25度左右,跑分最高也在50度以下。GT系列基本12CM里面全能。

eterfinity 发表于 2018-9-14 16:52 | 显示全部楼层
本帖最后由 eterfinity 于 2018-9-14 17:25 编辑

很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不
icyboy  楼主| 发表于 2018-9-15 15:41 | 显示全部楼层
eterfinity 发表于 2018-9-14 16:52
很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

看什么盘了,U.2的用原配的话估计不太理想,SAS SATA应该没大问题,原配虽然是20CM的,不过转速低,800RPM,进风量自然不如两把A14 PPC 3000调速1100-1200转的大。
来自苹果客户端来自苹果客户端
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部