PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 对LSI阵列卡玩SSD阵列及CacheCade和Fastpath加速机械盘的解惑 [打印本页]
作者: icyboy    时间: 2018-9-10 13:17
标题: 对LSI阵列卡玩SSD阵列及CacheCade和Fastpath加速机械盘的解惑
本帖最后由 icyboy 于 2018-9-12 16:51 编辑

阵列卡 M5210 3108核心 2G缓存 带BBU 功能全开

硬盘国行HUS726040AL5210 8块 RAID6

快餐跑分NRA WB DIO
[attach]410001[/attach]

下面是各种组合测试图 注意观察延迟和速度或者往下爬贴
R-RA&WB&CIO
[attach]410140[/attach]
R-NRA&WB&DIO
[attach]410141[/attach]
R-NRA&WB&CIO
[attach]410144[/attach]
W-NRA&WB&CIO
[attach]410142[/attach]
W-NRA&WB&DIO
[attach]410143[/attach]

后续等上expander后，加CacheCade SSD再测试一回

然后是悲催的成本图 前后3次购买
http://bbs.pceva.com.cn/thread-143352-1-1.html
[attach]410004[/attach]

最近又购入8快全新HUS726060AL5210 平衡了下成本，手上有2套2011主板和若干内存，后续可能上ZFS玩玩
作者: nighttob    时间: 2018-9-10 14:26
没看出用M5210的目的是啥。
这跑分9270也能跑出来
作者: icyboy    时间: 2018-9-10 14:52
本帖最后由 icyboy 于 2018-9-10 15:02 编辑
nighttob 发表于 2018-9-10 14:26
没看出用M5210的目的是啥。
这跑分9270也能跑出来

这卡当时我弄下来和9270全套差不多价格,另外SAS 12G的CacheCade SSD已经准备好。
作者: nighttob    时间: 2018-9-10 15:40
我现在遇到的一个窘况是M5210插在一个6G的Expander上面，而且没法换。
所以12G的也只能当6G的用，真服了IBM
作者: icyboy    时间: 2018-9-10 15:58
本帖最后由 icyboy 于 2018-9-10 16:07 编辑
nighttob 发表于 2018-9-10 15:40
我现在遇到的一个窘况是M5210插在一个6G的Expander上面，而且没法换。
所以12G的也只能当6G的用，真服了IBM ...

机械盘无所谓了，我弄的expander卡也是6G的，M5210两个8643口，准备转一个8087到expander卡，再两条8087一分四带8个机械，剩下一个8643用一分四连SSD。基本用完我全塔机箱所有盘位，90元包邮的expander卡不知道能不能支持4T以上的盘还没测试，当初这全塔机箱就没打算做存储用途，为了安静投了不少钱。现在做存储也不错，所有硬盘满载都不热，丢客厅，噪音关了木门就听不到，最吵的反而成了硬盘。
作者: nighttob    时间: 2018-9-10 17:24
icyboy 发表于 2018-9-10 15:58
机械盘无所谓了，我弄的expander卡也是6G的，M5210两个8643口，准备转一个8087到expander卡，再两条8087一 ...

所以我决定以后就2个足够大的SSD，RAID1，解决所有问题。

作者: 红色狂想    时间: 2018-9-10 18:07
你用的什么系统，Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗？我想看看你的机箱
作者: icyboy    时间: 2018-9-10 18:57
红色狂想 发表于 2018-9-10 18:07
你用的什么系统，Hard Disk Sentinel和CrystalDiskInfo能看到M5210 3108阵列下的磁盘健康信息吗？我想看看 ...

必须都能看到，系统2012，硬盘上还有2008和fedora，机箱追风者614PC，风扇两把A14 PPC 3000调速速1100转吹机箱6盘位，光驱位用EX36B1转了四个3.5配了个12CM的9S 调速1500吹4盘，机箱顶部两把GT1850朝外抽，尾部一把GT2150外抽，GT风扇基本都调速1500转，机箱风扇总共三进风三出风。
作者: Mufasa    时间: 2018-9-10 20:09
发个我去年升级存储的图

[attach]410040[/attach]

5个5TB做RAID 5，WriteBack with BBU，开CacheCade
作者: 440BX    时间: 2018-9-10 21:21
都是高级货，羡慕
作者: Atom    时间: 2018-9-10 22:44
读写破1G，万兆网才能喂得饱了
作者: icyboy    时间: 2018-9-11 00:44
Mufasa 发表于 2018-9-10 20:09
发个我去年升级存储的图

有CC延迟确实喜人，禁用机械盘缓存后，即使是3108核心，开了CC也是得开WB的，要不写入有时候会掉成渣。改天我再详细测试下。
作者: Mufasa    时间: 2018-9-11 10:39
icyboy 发表于 2018-9-11 00:44
有CC延迟确实喜人，禁用机械盘缓存后，即使是3108核心，开了CC也是得开WB的，要不写入有时候会掉成渣。改 ...

没有电池模块，WriteThrough

按照RAID 5 或者 6 的运行逻辑，必须保证写入数据可靠。
如果同时又设定了DirectIO，磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS，或者冗余电源供电，可以考虑开启Always Write Back
此时的写入速度约等于 N-1（对应R5） N-2（对应R6）
作者: Mufasa    时间: 2018-9-11 10:43
顺便。。。。我的机箱风扇也是GT2150，接主板PWM调速。

对于重负荷应用的服务器，工业扇是很好的选择。

噪音当然会大一点，但出风效果比9S好多了。。。。
（双路E5工作站用的9S，机箱同型号，出风明显弱）
作者: icyboy    时间: 2018-9-11 12:02
本帖最后由 icyboy 于 2018-9-12 13:59 编辑
Mufasa 发表于 2018-9-11 10:39
没有电池模块，WriteThrough

按照RAID 5 或者 6 的运行逻辑，必须保证写入数据可靠。
如果同时又设定了DirectIO，磁盘的缓存不使用。
写入速度无限接近于单盘无缓存的写入速度。。。。

如果使用了UPS，或者冗余电源供电，可以考虑开启Always Write Back
此时的写入速度约等于 N-1（对应R5） N-2（对应R6）

那基本理清了，机械盘用CacheCade缓存加速还是得开Writeback，关Read Ahead。开Write Trough读写都会掉成渣。
机械盘RAID6 NRA&WT&DIO
[attach]410135[/attach]
这里也有用CacheCade加速机械盘开Write Trough和Writeback的对比，
http://we.poppur.com/thread-1760838-1-1.html
查了下，开Writeback的写入顺序是先到卡载RAM缓存L1，有CC的话再到CC L2,最后到机械盘L3。和强悍的企业级SSD比起来，4K写入刚好有是卡载RAM缓存的瓶颈。这样的话CacheCade对4K写的提升该是很有限的，基本就是写入卡载RAM缓存的IOPS，主要提升是小文件读取速度和延迟，后续我用400G的S3710和SAS 12G的HUSMM1600做CacheCade盘分别测下。

下面是玩全SSD阵列的总结

全SSD阵列的话，Fastpath至关重要92XX，93XX(要加CC key才有) ，94XX 默认带针对SSD阵列的Fastpath加速，STRIPE SIZE 64KB大多数应用场合下最优（联想文档），DELL文档有提到只有IO块大小比STRIPE SIZE小的情况下FastPath加速有效，RAID 50 60没Fastpath加速。联想文档只含糊说所有RAID等级，50 60暂照DELL文档所说没有Fastpath加速。
[attach]410073[/attach]
参见
https://lenovopress.com/lp0592-u ... f-megaraid-fastpath

https://www.dell.com/support/man ... 4d7c2e85&lang=en-us

全SSD做阵列设置就是
DIRECT IO
WRITE THROUGH
NO READ AHEAD
DISK CACHE UNCHANGED

STRIPE SIZE 64KB，全SSD阵列256KB的SRIPE SIZE没多大好处，因为SSD盘主控写入单位都很小，具体SSD厂家规格书会提到，另外CacheCade那个VD实际也是SSD阵列，STRIPESIZE也是64KB最佳，默认也是。满足Fastpath加速的设置，必须有下面两个，DIRECT IO，NO READ AHEAD。全SSD用WRITE THROUGH，但是CacheCade加速机械盘或者全机械盘还是得用Writeback，下面有分析。

机械盘阵列现在都默认256KB STRIPE SIZE，全械盘阵列只要满足Fastpath加速设置，即使没有开CacheCade实际也能享受Fastpath的低延迟读取。
NRA&WB&DIO满足Fastpath读取加速设置 读取延迟降低，如果有CacheCade 加速读取延迟还能更低，基本接近SATA SSD。
[attach]410136[/attach]
RA&WB&DIO不满足Fastpath读取加速设置读取延迟和单盘差不多
[attach]410137[/attach]
这是万转SAS 2.5的读取延迟6.6 也比Fastpath加速后的慢很多
[attach]410138[/attach]

这里再补个SSD做各种raid等级的参考
https://mp.weixin.qq.com/s/pCQU3_qNwDpD4zqpV9bUSw


下面是之前挖N版帖子的回复

"最近有时间搞了个2G的缓存和BBU给m5210加上，还是之前的两块HUSMM1600 400G做raid0，习惯性direct IO，开启witeback,和readahead！然后跑分，4K写入不论Q16T4，还是Q32T1都非常辣眼睛，只有188MB，比板主4盘HUS1600MM 200G跑出来的207MB还滑稽，还不如单盘JBOD模式下的速度，然后开始找原因。

发现太多太多一样的测试！比如 9460-16i挂12块三星850PRO 1T RAID 50测试，也是一样的悲催。
仔细想了下，可以排除固件限制。问题就在缓存上，google后答案在这里，
http://sqlblog.com/blogs/joe_cha ... s-cough-giggle.aspx


就这么回事，问题出在回写设置，VD设置改成direct IO，write through，no readahead再测试。速度终正常了！

结论是，企业级SSD不管什么接口的，掉电保护都足够强大，很多企业级固件还有raise，xor等类似raid冗余的功能，所以不论什么raid等级都可以直接忽略LSI RAID卡缓存，有的SSD自带的都不止1G 2G，关writeback和readahead，有UPS更好！

家用级，比如850 pro等没有掉电保护或者掉电保护不是很强大的，也是不论什么raid等级先关write back，raid0请慎重！"
作者: nighttob    时间: 2018-9-11 12:48
有机会我会测的
机器 卡和盘都有
就是没时间
作者: icyboy    时间: 2018-9-11 13:25
nighttob 发表于 2018-9-11 12:48
有机会我会测的
机器 卡和盘都有
就是没时间

嗯 你那张M5210不知道有没有开了Fastpath，因为一般缓存模块只激活raid5

这个是1600MM开了Fastpath后2盘raid0
[attach]410074[/attach]
三盘raid0
[attach]410075[/attach]

三盘raid5 写惩罚很厉害了
[attach]410077[/attach]
作者: icyboy    时间: 2018-9-12 14:06
Mufasa 发表于 2018-9-11 10:43
顺便。。。。我的机箱风扇也是GT2150，接主板PWM调速。

对于重负荷应用的服务器，工业扇是很好的选择。

昨晚测试后更新了下，狮大看看没问题吧。风扇的话9S我只用来做进风，进风的话如果能用14CM我一定会选A14 PPC 3000调速1100-1200转之间，进风量 噪音 震动都完美。我追风者614那个20CM的换了2个A14 A14 PPC 3000 自带盘位全吹透。有2块U.2的P3600也是放盘位，室温25度左右，跑分最高也在50度以下。GT系列基本12CM里面全能。

作者: eterfinity    时间: 2018-9-14 16:52
本帖最后由 eterfinity 于 2018-9-14 17:25 编辑

很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不
作者: icyboy    时间: 2018-9-15 15:41
eterfinity 发表于 2018-9-14 16:52
很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

看什么盘了，U.2的用原配的话估计不太理想，SAS SATA应该没大问题，原配虽然是20CM的，不过转速低，800RPM，进风量自然不如两把A14 PPC 3000调速1100-1200转的大。
作者: eterfinity    时间: 2018-9-19 06:58
本帖最后由 eterfinity 于 2018-9-19 07:07 编辑

打开cache cade之后    根本就无需数据vd本身的writeback  阵列卡电池都不用装
个人最推荐的做法是
对CC VD 设置为write back  （此处设置WB是开启写入加速，不是使用阵列卡缓存）
对数据VD  设置为 read ahead， write through  ， direct io   ，（这个write through和CC无关，是阵列卡在CCVD与数据VD之间的缓存行为，直接省掉最容易出问题的电池, 至于硬盘本身的缓存，看个人喜好，参考TLC ssd的TLC直写速率，连那个都能接受，其实关硬盘缓存也不怎么影响体验的）
最近手里的卡借给别人了 暂时没办法放图

fastpath对CC VD也有效  最直观的效果是：
2块ssd做raid1 CC
读取相当于raid0的行为，写入相当于raid1的行为，读速为写速两倍

作者: icyboy    时间: 2018-9-19 12:31
本帖最后由 icyboy 于 2018-9-21 09:37 编辑
eterfinity 发表于 2018-9-19 06:58
打开cache cade之后    根本就无需数据vd本身的writeback  阵列卡电池都不用装
个人最推荐的做法是
对CC V ...

根本就无需数据VD本身的writeback，
对数据VD  设置为 read ahead， write through  ， direct io
以上两点在机械盘做数据VD并且是奇偶RAID等级情况下实在不敢苟同，上面我也提到即使在没有CacheCade盘时，Fastpath对数据VD的读取也是有加速的，Fastpath至少需要满足no read ahead，direct io这两个条件才有读取延迟加速。具体看上面的各种组合测试，和狮大的讨论以及早期P大的那个测试帖都有提到无论有无CaceCade机械盘阵列用write through策略会掉成渣。
fastpath对CC VD也有效，这个是当然的，CC VD设置里面的writeback，write through只是CacheCade写缓存的开关，实际这个VD的IO策略依然是no read ahead，write through，direct io，和我说的纯SSD阵列设置是同一种情况。
至于硬盘本身的缓存，做奇偶阵列时各大厂商基本都是建议关闭，HGST企业硬盘都有提到NVC功能，希捷也有类似的技术，但是具体细节都没公布。BBU也好超级电容也好，至少是可靠的，用于备份阵列卡缓存的闪存都是SLC。

作者: eterfinity    时间: 2018-9-19 14:53
本帖最后由 eterfinity 于 2018-9-19 15:04 编辑
icyboy 发表于 2018-9-19 12:31
根本就无需数据VD本身的writeback，
对数据VD  设置为 read ahead， write through  ， direct io
以上两 ...

索性再详细回复吧，实际服务器运行环境，大多数都是有尘。阵列卡的bbu或者cvm`fbwc这些东西，最怕的就是灰尘堆积引起的周边电路问题。每个有尘机房都无法避免，即使有电池或电容加闪存，开启wb仍然是有风险的。中招一次就是1000‰，
实际运维中缓存故障里，电池电容保护电路内部挂掉的量少于阵列卡灰尘堆积带来的问题。个人几千次的机房经验里比比皆是。
本身cc开启后，速率已经有改善，还怕因为关了wb而造成的机械盘阵列写入慢一点儿吗？
就好比tlc ssd的tlc直写速率虽然渣，但也不是不能用。
再看实际使用，以4盘r5.为例，主流nlsas盘四盘r5 在有缓存的阵列卡上使用write through模式，其写入速率也有200左右，不是那种无缓存阵列卡上的40兆垃圾速率，然而一块混合使用型企业级satassd的写入速度一般也就380左右。此时r1的cc最大写入速度也就是后方机械vd的write through的2倍左右，不能算是渣吧，何况不是每时每刻都这般填盘的。
拿掉电池电容闪存之类的，影响不大的。尤其是自家使用，省的钱可以扩大一倍的ssd了。总结一句话，存储链路里无须每个环节单独都能达到最大速率。当然不差钱，或防尘做得好的大佬们不需要这样的自废武功式的思路。
作者: eterfinity    时间: 2018-9-19 15:13
本帖最后由 eterfinity 于 2018-9-19 15:20 编辑
icyboy 发表于 2018-9-19 15:07
关了磁盘缓存再用write through试试，wt与wb.都用缓存的，只是写完成的判定不一样。来个实测。保证只有单盘以下的写入性能。
...

以为用write through就不使用阵列卡缓存了么？我说的速率就是关硬盘缓存的速率，一舨都是拿保守的来说呀。如果硬盘缓存是enable或正常的nochange ，那个四盘6-8t nlsas盘的直写速度是500啊，才不是200。一般lsi .无缓存的imr模式阵列卡r5.机械阵列写入瓶颈在40，无论开不开硬盘缓存都是这个数，其上创建vd默认就是关硬盘缓存的，这个vd import foreign到mr模式带缓存的阵列卡，不单独改策略的话，仍然会是wt di 且硬盘缓存关闭，此时速率秒变200+啊
作者: nighttob    时间: 2018-9-19 16:48
吓得我赶紧兑换了一发fastpath
[attach]410539[/attach]

然后发现还是得重启一次才能生效

  2. Supported VD Operations :
  3. =======================
  4. Read Policy = Yes
  5. Write Policy = Yes
  6. IO Policy = Yes
  7. Access Policy = Yes
  8. Disk Cache Policy = Yes
  9. Reconstruction = Yes
  10. Deny Locate = No
  11. Deny CC = No
  12. Allow Ctrl Encryption = No
  13. Enable LDBBM = No
  14. Support FastPath = No
  15. Performance Metrics = Yes
  16. Power Savings = No
  17. Support Powersave Max With Cache = No
  18. Support Breakmirror = Yes
  19. Support SSC WriteBack = Yes
  20. Support SSC Association = Yes
  21. Support VD Hide = Yes
  22. Support VD Cachebypass = Yes
  23. Support VD discardCacheDuringLDDelete = Yes
  24. Support VD Scsi Unmap = No


  27. Advanced Software Option :
  28. ========================

  30. --------------------------------------------------------
  31. Adv S/W Opt                 Time Remaining  Mode
  32. --------------------------------------------------------
  33. MegaRAID CacheCade Pro 2.0  Unlimited       Not Secured
  34. MegaRAID SafeStore          Unlimited       Secured
  35. MegaRAID RAID6              Unlimited       Not Secured
  36. MegaRAID RAID5              Unlimited       Secured
  37. --------------------------------------------------------
复制代码

HDD的测试早就做完了，SEQ是WB还是WT差别不是很巨大，晚上贴结果。




作者: icyboy    时间: 2018-9-19 16:56
nighttob 发表于 2018-9-19 16:48
吓得我赶紧兑换了一发fastpath

disk cache policy选disable后也没啥大差别？我这8盘raid6就很糟糕了。RAID5等我晚上试试，这两天刚好管不住手，又收了12个6T。
作者: nighttob    时间: 2018-9-19 17:36
icyboy 发表于 2018-9-19 16:56
disk cache policy选disable后也没啥大差别？我这8盘raid6就很糟糕了。RAID5等我晚上试试，这两天刚好管 ...

默认都是disabled DWC的啊，这玩意实用中谁会开啊。
RAID卡可以有battery backup，硬盘又没有。

作者: eterfinity    时间: 2018-9-19 17:38
很快机械硬盘就带fbwc了
作者: nighttob    时间: 2018-9-19 21:28
本帖最后由 nighttob 于 2018-9-19 21:29 编辑

[attach]410572[/attach]
OEM版9460-8i
6个Savvio 15k5 600G
都是NRA DIO DWC=off
CC=Consistency Check
Rebuild不用说了
测试工具是TxBench
两个月之前测的，没时间整理结论

作者: icyboy    时间: 2018-9-19 22:03
本帖最后由 icyboy 于 2018-9-21 09:40 编辑
nighttob 发表于 2018-9-19 21:28
OEM版9460-8i
6个Savvio 15k5 600G
都是NRA DIO DWC=off

非常感谢N版，这测试结果非常有参考价值，开始还以为是我这OEM卡和固件限制的原因，看了你这HHD测试结果后发现，WT对低列队和小文件随机写入影响确实比较大，我在M5210上实测也是如此，上面回狮大那张HDtune写入测试10M不到那张测试图，是测试软件写入样本大小造成的。

试了下日常操作（大量同步SSD移动硬盘上的内容,1M以下小文件居多），WT模式和WB确实有感知。

后续加CacheCade盘之后我就只着重看WT和WB的差距了，可惜9400这一代都没CacheCade用了。
作者: nighttob    时间: 2018-9-23 09:06
随便测了一下

4个Savvio 10k.8 RAID5
M5210 2G FLASH
DIO DWC=off
工具IOmeter 1W QD1 32M SW/SR
32M Seq. W 32M Seq. R
WB RA 605.9 590.9
WB NORA 605.8 590.5
WT RA 388.8 601.3
WT NORA 389.7 590.4



作者: icyboy    时间: 2018-9-23 21:16
nighttob 发表于 2018-9-23 09:06
随便测了一下

4个Savvio 10k.8 RAID5

感谢测试，看来械盘要达到最优性能卡还是得有缓存加BBU，WB策略后感觉我这8盘RAID6 CacheCade SSD用S3710 400G再OP下足够用，几块1600MM继续R0。
作者: nighttob    时间: 2018-9-23 22:16
icyboy 发表于 2018-9-23 21:16
感谢测试，看来械盘要达到最优性能卡还是得有缓存加BBU，WB策略后感觉我这8盘RAID6 CacheCade SSD用S3710 ...

你这都是给自己制造需求，实际上根本用不着

作者: eterfinity    时间: 2018-9-24 05:15
其实吧，cachecade是用做读比较好，写入真不怎么需要加速，但读缓存命中率上去后特别爽
作者: icyboy    时间: 2018-9-24 07:42
nighttob 发表于 2018-9-23 22:16
你这都是给自己制造需求，实际上根本用不着

能用的都用上，刚好有五块项目取消闲置下来的S3710




欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/) Powered by Discuz! X3.2