番外篇：阵列卡回写缓存有无对跑分的影响

在上一篇对Optane 900p的对比测试中提到，阵列卡的缓存能显著提高成绩，但并没有给出单个SSD的水平，这里做一个额外的测试。

测试平台还是上回用的SR550，阵列卡是MegaRAID 9460-8i，带2GB FBWC。分别测试直通模式(JBOD)和单盘RAID0情况下PCM8存储分。

首先说一点，HGST Ultrastar SSD1600MM也是高性能级SAS SSD，自身素质不俗，即使在主频低的平台上也是随便过5K分的。


单盘做RAID0，64k Strip，Write Back with BBU，No Read Ahead，Direct I/O。


单盘5013分就已经是旗舰级SATA SSD的水平，设置成RAID0并使用回写缓存以后成绩达到5026，可以说提升了一个档次，而且单盘就已经接近4盘时的5031分了，可见回写缓存的用处相当明显（而且是有Flash+SuperCapacitor做后备的，不怕掉电）。

不过之前也说过多次，硬卡终究是为HDD服务的，所以也要测试一下。

HDD这边的测试对象是Seagate Savvio 10k.8 300GB，也是近一代服务器上常见的型号。


单盘做RAID0，64k Strip，Write Back with BBU，Read Ahead，Direct I/O。


10k.8的单盘是3165分，已经比常见7k2的盘高了数百分了，单盘RAID0以后突增到3303，已经达到15k单盘的水平了，当然距离废料级SSD还是有上千分的差距的。

不过这里想说明的其实是相对于SSD上的锦上添花，在HDD上面就是质的飞跃了，也可以说硬卡就是用来拯救HDD的。

注意一点：测试SSD和HDD单盘RAID0时候有一个参数不同，SSD是No Read Ahead，HDD是Read Ahead。这个区别在于Read Ahead，即预读，可以提高一些持续读取性能，对HDD这种介质来说相对有效，但对SSD来说几乎没用。LSI的建议也是用于HDD则设置成Read Ahead，SSD NR。

再补充几个测试对象。

1* Seagate Savvio 15k.5 600GB JBOD，得分3618


1* Seagate Savvio 15k.5 600GB RAID0，得分3793


15k SAS如之前10k盘一样，单盘RAID0以后有百分以上的提升。15k.5是有SSHD的型号的，也就是PCB上面有一个FLASH做缓存，我这里测的是传统型号。

1* Intel 520 240GB JBOD，得分4941


1* Intel 520 240GB RAID0，得分4987

520是大家非常熟悉的产品了，当年的性能级。有了回写缓存以后提升了50多分，直接达到了目前高端SATA的水平。

1* Intel X25-E 64GB JBOD，得分4807


1* Intel X25-E 64GB RAID0，得分4908

时泪的产品，没缓存的时候只能跟废品级一教高下，有了回写缓存以后算是到了乞丐级。

目前测试的5块盘能总结出的规律就是，越差的盘便越能从回写缓存获取增益，但无奈即使有buff加成还是看不到前车的尾灯……
所以说缓存buff只是锦上添花，盘的自身素质还是最重要的。

非常有用的测试

不错的测试，SSD上硬卡没啥必要。  HDD还是有必要的

好文章，支持。

我也一直在纳闷，硬阵列卡上面的Read Ahead是否需要开启。
后来决定一部分开启，一部分关闭。。。。

现在看来，如果开了Write Back with BBU，同时开启Read Ahead是正确的。

楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像， 另外那个帖子我也贴过R0的

icyboy 发表于 2017-12-24 23:40
楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像， 另外那个帖子我也 ...

感觉200G型号比起400G的4K写入差不多慢了一半

icyboy 发表于 2017-12-24 23:40
楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像， 另外那个帖子我也 ...

我又测了一下，单盘JBOD的很正常，RAID0以后就是这样。


我觉得就是RAID卡硬件限制了。

nighttob 发表于 2017-12-26 10:19
我又测了一下，单盘JBOD的很正常，RAID0以后就是这样。

我这在没缓存模块的M5210上两块r0速度也正常，9341上也没问题，有兴趣的话你可以试试两块r0是不是也掉成四块r0这样子

icyboy 发表于 2017-12-26 21:08
我这在没缓存模块的M5210上两块r0速度也正常，9341上也没问题，有兴趣的话你可以试试两块r0是不是也掉成 ...

在9460卡上面跑单盘R0也是这样，应该就是阵列卡限制了。



在M5210上面测还不如这个，两个4K都只有180MB/s左右。

nighttob 发表于 2017-12-27 17:05
在9460卡上面跑单盘R0也是这样，应该就是阵列卡限制了。

忘记说了，我的m5210用的9361最新固件

icyboy 发表于 2017-12-27 20:28
忘记说了，我的m5210用的9361最新固件

你那有缓存模块，可以试试升级9361最新固件和驱动后缓存有没有用，IBM那个固件好久没更新了

icyboy 发表于 2017-12-27 20:31
你那有缓存模块，可以试试升级9361最新固件和驱动后缓存有没有用，IBM那个固件好久没更新了
...

我这不是最新版也是比较新的了
我还是认为这就是OEM FW的限制

nighttob 发表于 2017-12-27 21:03
我这不是最新版也是比较新的了
我还是认为这就是OEM FW的限制

改天我试试m5210用回2BM固件会不会被限速，但是有可能我这两块的型号、固件版本和你那个不一样，不会触发限制策略。

再问一下。

开启了LSI的Cache Cade以后，使用SSD加速机械盘阵列，是推荐 Always Read Ahead ，还是推荐 No Read Ahead

缓存策略是 Write Back with BBU，安装了电池模块（BBU）

Mufasa 发表于 2017-12-29 21:24
再问一下。

开启了LSI的Cache Cade以后，使用SSD加速机械盘阵列，是推荐 Always Read Ahead ，还是推荐 No ...

CacheCade是单独的VD，跟HDD的VD是分开设置的。

你可以看LSI的best practices，我这里有一份NMR的，原理是一样的

nighttob 发表于 2017-12-29 21:51
CacheCade是单独的VD，跟HDD的VD是分开设置的。
你可以看LSI的best practices，我这里有一份 ...

谢谢，看了一下，保持我现在的设置就是厂家推荐的最优状态。

Mufasa 发表于 2017-12-29 21:24
再问一下。

开启了LSI的Cache Cade以后，使用SSD加速机械盘阵列，是推荐 Always Read Ahead ，还是推荐 No ...

这个就像CPU缓存一样理解L1 内存 L2 cachecade L3 机械阵列，传统SAS盘一般禁用磁盘缓存，近线SAS和SATA可开可不开，取决于性能和安全考虑。

icyboy 发表于 2017-12-29 22:05
这个就像CPU缓存一样理解L1 内存 L2 cachecade L3 机械阵列，传统SAS盘一般禁用磁盘缓存，近线SAS和SATA ...

有阵列卡的Write Back，磁盘那边用Direct IO就可以了，我很少用Cached IO这种设置。

LSI 建议开启了Cache Cade的机械盘阵列，使用No Read Ahead，这样可以充分利用SSD的缓存。

至于Write Back with BBU，这个是RAID5必备选项了，开启以后速度非常强劲，关闭以后慢得要命，一个天上一个地下。

Mufasa 发表于 2017-12-29 22:18
有阵列卡的Write Back，磁盘那边用Direct IO就可以了，我很少用Cached IO这种设置。

LSI 建议开启了Cach ...

其实只要缓存模块是DDR3，最低1G，即使有cachecade开了也有点提升的，我现在两块hgst 4T SAS 近线组R1,可惜前段时间拆来的m5210还没弄到合适的缓存模块,disks cache policy disable后慢的不行，只有开启，还好有个UPS。
另外你做cache cade的ssd啥型号？一般最差得dc级，掉电保护得够强大！