对LSI阵列卡玩SSD阵列及CacheCade和Fastpath加速机械盘的解惑

阵列卡 M5210 3108核心 2G缓存 带BBU 功能全开

硬盘国行HUS726040AL5210 8块 RAID6

快餐跑分NRA WB DIO


下面是各种组合测试图 注意观察延迟和速度或者往下爬贴
R-RA&WB&CIO

R-NRA&WB&DIO

R-NRA&WB&CIO

W-NRA&WB&CIO

W-NRA&WB&DIO


后续等上expander后，加CacheCade SSD再测试一回

然后是悲催的成本图 前后3次购买
http://bbs.pceva.com.cn/thread-143352-1-1.html


最近又购入8快全新HUS726060AL5210 平衡了下成本，手上有2套2011主板和若干内存，后续可能上ZFS玩玩

nighttob 发表于 2018-9-23 22:16
你这都是给自己制造需求，实际上根本用不着

能用的都用上，刚好有五块项目取消闲置下来的S3710

其实吧，cachecade是用做读比较好，写入真不怎么需要加速，但读缓存命中率上去后特别爽

icyboy 发表于 2018-9-23 21:16
感谢测试，看来械盘要达到最优性能卡还是得有缓存加BBU，WB策略后感觉我这8盘RAID6 CacheCade SSD用S3710 ...

你这都是给自己制造需求，实际上根本用不着

nighttob 发表于 2018-9-23 09:06
随便测了一下

4个Savvio 10k.8 RAID5

感谢测试，看来械盘要达到最优性能卡还是得有缓存加BBU，WB策略后感觉我这8盘RAID6 CacheCade SSD用S3710 400G再OP下足够用，几块1600MM继续R0。

随便测了一下

4个Savvio 10k.8 RAID5
M5210 2G FLASH
DIO DWC=off
工具IOmeter 1W QD1 32M SW/SR

	32M Seq. W	32M Seq. R
WB RA	605.9	590.9
WB NORA	605.8	590.5
WT RA	388.8	601.3
WT NORA	389.7	590.4

nighttob 发表于 2018-9-19 21:28
OEM版9460-8i
6个Savvio 15k5 600G
都是NRA DIO DWC=off

非常感谢N版，这测试结果非常有参考价值，开始还以为是我这OEM卡和固件限制的原因，看了你这HHD测试结果后发现，WT对低列队和小文件随机写入影响确实比较大，我在M5210上实测也是如此，上面回狮大那张HDtune写入测试10M不到那张测试图，是测试软件写入样本大小造成的。

试了下日常操作（大量同步SSD移动硬盘上的内容,1M以下小文件居多），WT模式和WB确实有感知。

后续加CacheCade盘之后我就只着重看WT和WB的差距了，可惜9400这一代都没CacheCade用了。

OEM版9460-8i
6个Savvio 15k5 600G
都是NRA DIO DWC=off
CC=Consistency Check
Rebuild不用说了
测试工具是TxBench
两个月之前测的，没时间整理结论

很快机械硬盘就带fbwc了

icyboy 发表于 2018-9-19 16:56
disk cache policy选disable后也没啥大差别？我这8盘raid6就很糟糕了。RAID5等我晚上试试，这两天刚好管 ...

默认都是disabled DWC的啊，这玩意实用中谁会开啊。
RAID卡可以有battery backup，硬盘又没有。

nighttob 发表于 2018-9-19 16:48
吓得我赶紧兑换了一发fastpath

disk cache policy选disable后也没啥大差别？我这8盘raid6就很糟糕了。RAID5等我晚上试试，这两天刚好管不住手，又收了12个6T。

吓得我赶紧兑换了一发fastpath


然后发现还是得重启一次才能生效

1. 
   
2. Supported VD Operations :
   
3. =======================
   
4. Read Policy = Yes
   
5. Write Policy = Yes
   
6. IO Policy = Yes
   
7. Access Policy = Yes
   
8. Disk Cache Policy = Yes
   
9. Reconstruction = Yes
   
10. Deny Locate = No
    
11. Deny CC = No
    
12. Allow Ctrl Encryption = No
    
13. Enable LDBBM = No
    
14. Support FastPath = No
    
15. Performance Metrics = Yes
    
16. Power Savings = No
    
17. Support Powersave Max With Cache = No
    
18. Support Breakmirror = Yes
    
19. Support SSC WriteBack = Yes
    
20. Support SSC Association = Yes
    
21. Support VD Hide = Yes
    
22. Support VD Cachebypass = Yes
    
23. Support VD discardCacheDuringLDDelete = Yes
    
24. Support VD Scsi Unmap = No
    
25. 
    
26. 
    
27. Advanced Software Option :
    
28. ========================
    
29. 
    
30. --------------------------------------------------------
    
31. Adv S/W Opt                 Time Remaining  Mode
    
32. --------------------------------------------------------
    
33. MegaRAID CacheCade Pro 2.0  Unlimited       Not Secured
    
34. MegaRAID SafeStore          Unlimited       Secured
    
35. MegaRAID RAID6              Unlimited       Not Secured
    
36. MegaRAID RAID5              Unlimited       Secured
    
37. --------------------------------------------------------
    

复制代码

HDD的测试早就做完了，SEQ是WB还是WT差别不是很巨大，晚上贴结果。

icyboy 发表于 2018-9-19 15:07
关了磁盘缓存再用write through试试，wt与wb.都用缓存的，只是写完成的判定不一样。来个实测。保证只有单盘以下的写入性能。
...

以为用write through就不使用阵列卡缓存了么？我说的速率就是关硬盘缓存的速率，一舨都是拿保守的来说呀。如果硬盘缓存是enable或正常的nochange ，那个四盘6-8t nlsas盘的直写速度是500啊，才不是200。一般lsi .无缓存的imr模式阵列卡r5.机械阵列写入瓶颈在40，无论开不开硬盘缓存都是这个数，其上创建vd默认就是关硬盘缓存的，这个vd import foreign到mr模式带缓存的阵列卡，不单独改策略的话，仍然会是wt di 且硬盘缓存关闭，此时速率秒变200+啊

icyboy 发表于 2018-9-19 12:31
根本就无需数据VD本身的writeback，
对数据VD  设置为 read ahead， write through  ， direct io
以上两 ...

索性再详细回复吧，实际服务器运行环境，大多数都是有尘。阵列卡的bbu或者cvm`fbwc这些东西，最怕的就是灰尘堆积引起的周边电路问题。每个有尘机房都无法避免，即使有电池或电容加闪存，开启wb仍然是有风险的。中招一次就是1000‰，
实际运维中缓存故障里，电池电容保护电路内部挂掉的量少于阵列卡灰尘堆积带来的问题。个人几千次的机房经验里比比皆是。
本身cc开启后，速率已经有改善，还怕因为关了wb而造成的机械盘阵列写入慢一点儿吗？
就好比tlc ssd的tlc直写速率虽然渣，但也不是不能用。
再看实际使用，以4盘r5.为例，主流nlsas盘四盘r5 在有缓存的阵列卡上使用write through模式，其写入速率也有200左右，不是那种无缓存阵列卡上的40兆垃圾速率，然而一块混合使用型企业级satassd的写入速度一般也就380左右。此时r1的cc最大写入速度也就是后方机械vd的write through的2倍左右，不能算是渣吧，何况不是每时每刻都这般填盘的。
拿掉电池电容闪存之类的，影响不大的。尤其是自家使用，省的钱可以扩大一倍的ssd了。总结一句话，存储链路里无须每个环节单独都能达到最大速率。当然不差钱，或防尘做得好的大佬们不需要这样的自废武功式的思路。

eterfinity 发表于 2018-9-19 06:58
打开cache cade之后    根本就无需数据vd本身的writeback  阵列卡电池都不用装
个人最推荐的做法是
对CC V ...

根本就无需数据VD本身的writeback，
对数据VD  设置为 read ahead， write through  ， direct io
以上两点在机械盘做数据VD并且是奇偶RAID等级情况下实在不敢苟同，上面我也提到即使在没有CacheCade盘时，Fastpath对数据VD的读取也是有加速的，Fastpath至少需要满足no read ahead，direct io这两个条件才有读取延迟加速。具体看上面的各种组合测试，和狮大的讨论以及早期P大的那个测试帖都有提到无论有无CaceCade机械盘阵列用write through策略会掉成渣。
fastpath对CC VD也有效，这个是当然的，CC VD设置里面的writeback，write through只是CacheCade写缓存的开关，实际这个VD的IO策略依然是no read ahead，write through，direct io，和我说的纯SSD阵列设置是同一种情况。
至于硬盘本身的缓存，做奇偶阵列时各大厂商基本都是建议关闭，HGST企业硬盘都有提到NVC功能，希捷也有类似的技术，但是具体细节都没公布。BBU也好超级电容也好，至少是可靠的，用于备份阵列卡缓存的闪存都是SLC。

打开cache cade之后    根本就无需数据vd本身的writeback  阵列卡电池都不用装
个人最推荐的做法是
对CC VD 设置为write back  （此处设置WB是开启写入加速，不是使用阵列卡缓存）
对数据VD  设置为 read ahead， write through  ， direct io   ，（这个write through和CC无关，是阵列卡在CCVD与数据VD之间的缓存行为，直接省掉最容易出问题的电池, 至于硬盘本身的缓存，看个人喜好，参考TLC ssd的TLC直写速率，连那个都能接受，其实关硬盘缓存也不怎么影响体验的）
最近手里的卡借给别人了 暂时没办法放图

fastpath对CC VD也有效  最直观的效果是：
2块ssd做raid1 CC
读取相当于raid0的行为，写入相当于raid1的行为，读速为写速两倍

eterfinity 发表于 2018-9-14 16:52
很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

看什么盘了，U.2的用原配的话估计不太理想，SAS SATA应该没大问题，原配虽然是20CM的，不过转速低，800RPM，进风量自然不如两把A14 PPC 3000调速1100-1200转的大。

很想知道楼主的追风者614机箱  如果不额外配风扇  硬盘温度飙得起来不

Mufasa 发表于 2018-9-11 10:43
顺便。。。。我的机箱风扇也是GT2150，接主板PWM调速。

对于重负荷应用的服务器，工业扇是很好的选择。

昨晚测试后更新了下，狮大看看没问题吧。风扇的话9S我只用来做进风，进风的话如果能用14CM我一定会选A14 PPC 3000调速1100-1200转之间，进风量 噪音 震动都完美。我追风者614那个20CM的换了2个A14 A14 PPC 3000 自带盘位全吹透。有2块U.2的P3600也是放盘位，室温25度左右，跑分最高也在50度以下。GT系列基本12CM里面全能。

nighttob 发表于 2018-9-11 12:48
有机会我会测的
机器 卡和盘都有
就是没时间

嗯 你那张M5210不知道有没有开了Fastpath，因为一般缓存模块只激活raid5

这个是1600MM开了Fastpath后2盘raid0

三盘raid0


三盘raid5 写惩罚很厉害了

有机会我会测的
机器 卡和盘都有
就是没时间