PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

番外篇:阵列卡回写缓存有无对跑分的影响

[复制链接]
nighttob 发表于 2017-12-24 14:44 | 显示全部楼层 |阅读模式
点击数:1555|回复数:21
在上一篇对Optane 900p的对比测试中提到,阵列卡的缓存能显著提高成绩,但并没有给出单个SSD的水平,这里做一个额外的测试。

测试平台还是上回用的SR550,阵列卡是MegaRAID 9460-8i,带2GB FBWC。分别测试直通模式(JBOD)和单盘RAID0情况下PCM8存储分。

首先说一点,HGST Ultrastar SSD1600MM也是高性能级SAS SSD,自身素质不俗,即使在主频低的平台上也是随便过5K分的。


单盘做RAID0,64k Strip,Write Back with BBU,No Read Ahead,Direct I/O。


单盘5013分就已经是旗舰级SATA SSD的水平,设置成RAID0并使用回写缓存以后成绩达到5026,可以说提升了一个档次,而且单盘就已经接近4盘时的5031分了,可见回写缓存的用处相当明显(而且是有Flash+SuperCapacitor做后备的,不怕掉电)。

不过之前也说过多次,硬卡终究是为HDD服务的,所以也要测试一下。

HDD这边的测试对象是Seagate Savvio 10k.8 300GB,也是近一代服务器上常见的型号。


单盘做RAID0,64k Strip,Write Back with BBU,Read Ahead,Direct I/O。


10k.8的单盘是3165分,已经比常见7k2的盘高了数百分了,单盘RAID0以后突增到3303,已经达到15k单盘的水平了,当然距离废料级SSD还是有上千分的差距的。

不过这里想说明的其实是相对于SSD上的锦上添花,在HDD上面就是质的飞跃了,也可以说硬卡就是用来拯救HDD的。

注意一点:测试SSD和HDD单盘RAID0时候有一个参数不同,SSD是No Read Ahead,HDD是Read Ahead。这个区别在于Read Ahead,即预读,可以提高一些持续读取性能,对HDD这种介质来说相对有效,但对SSD来说几乎没用。LSI的建议也是用于HDD则设置成Read Ahead,SSD NR。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

评分

参与人数 1代金券 +50 收起 理由
石头 + 50 1精

查看全部评分

nighttob  楼主| 发表于 2017-12-27 12:06 | 显示全部楼层
再补充几个测试对象。

1* Seagate Savvio 15k.5 600GB JBOD,得分3618


1* Seagate Savvio 15k.5 600GB RAID0,得分3793


15k SAS如之前10k盘一样,单盘RAID0以后有百分以上的提升。15k.5是有SSHD的型号的,也就是PCB上面有一个FLASH做缓存,我这里测的是传统型号。

1* Intel 520 240GB JBOD,得分4941


1* Intel 520 240GB RAID0,得分4987


520是大家非常熟悉的产品了,当年的性能级。有了回写缓存以后提升了50多分,直接达到了目前高端SATA的水平。

1* Intel X25-E 64GB JBOD,得分4807


1* Intel X25-E 64GB RAID0,得分4908


时泪的产品,没缓存的时候只能跟废品级一教高下,有了回写缓存以后算是到了乞丐级。

目前测试的5块盘能总结出的规律就是,越差的盘便越能从回写缓存获取增益,但无奈即使有buff加成还是看不到前车的尾灯……
所以说缓存buff只是锦上添花,盘的自身素质还是最重要的。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
NOIP117 发表于 2017-12-24 15:52 | 显示全部楼层
非常有用的测试
Apache 发表于 2017-12-24 18:46 | 显示全部楼层
不错的测试,SSD上硬卡没啥必要。  HDD还是有必要的
Mufasa 发表于 2017-12-24 21:06 | 显示全部楼层
好文章,支持。

我也一直在纳闷,硬阵列卡上面的Read Ahead是否需要开启。
后来决定一部分开启,一部分关闭。。。。

现在看来,如果开了Write Back with BBU,同时开启Read Ahead是正确的。
icyboy 发表于 2017-12-24 23:40 | 显示全部楼层
本帖最后由 icyboy 于 2017-12-25 00:51 编辑

楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像, 另外那个帖子我也贴过R0的

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
来自苹果客户端来自苹果客户端
icyboy 发表于 2017-12-25 01:56 | 显示全部楼层
icyboy 发表于 2017-12-24 23:40
楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像, 另外那个帖子我也 ...

感觉200G型号比起400G的4K写入差不多慢了一半
来自苹果客户端来自苹果客户端
nighttob  楼主| 发表于 2017-12-26 10:19 | 显示全部楼层
icyboy 发表于 2017-12-24 23:40
楼主这个200G的1600MM单盘和我手上的1600MM 400G CDM跑分4K写入部分对比起来感觉不太像, 另外那个帖子我也 ...

我又测了一下,单盘JBOD的很正常,RAID0以后就是这样。


我觉得就是RAID卡硬件限制了。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
icyboy 发表于 2017-12-26 21:08 | 显示全部楼层
nighttob 发表于 2017-12-26 10:19
我又测了一下,单盘JBOD的很正常,RAID0以后就是这样。

我这在没缓存模块的M5210上两块r0速度也正常,9341上也没问题,有兴趣的话你可以试试两块r0是不是也掉成四块r0这样子
来自苹果客户端来自苹果客户端
nighttob  楼主| 发表于 2017-12-27 17:05 | 显示全部楼层
本帖最后由 nighttob 于 2017-12-27 18:05 编辑
icyboy 发表于 2017-12-26 21:08
我这在没缓存模块的M5210上两块r0速度也正常,9341上也没问题,有兴趣的话你可以试试两块r0是不是也掉成 ...

在9460卡上面跑单盘R0也是这样,应该就是阵列卡限制了。



在M5210上面测还不如这个,两个4K都只有180MB/s左右。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
icyboy 发表于 2017-12-27 20:28 | 显示全部楼层
nighttob 发表于 2017-12-27 17:05
在9460卡上面跑单盘R0也是这样,应该就是阵列卡限制了。

忘记说了,我的m5210用的9361最新固件
来自苹果客户端来自苹果客户端
icyboy 发表于 2017-12-27 20:31 | 显示全部楼层
icyboy 发表于 2017-12-27 20:28
忘记说了,我的m5210用的9361最新固件

你那有缓存模块,可以试试升级9361最新固件和驱动后缓存有没有用,IBM那个固件好久没更新了
来自苹果客户端来自苹果客户端
nighttob  楼主| 发表于 2017-12-27 21:03 | 显示全部楼层
icyboy 发表于 2017-12-27 20:31
你那有缓存模块,可以试试升级9361最新固件和驱动后缓存有没有用,IBM那个固件好久没更新了
...

我这不是最新版也是比较新的了
我还是认为这就是OEM FW的限制

icyboy 发表于 2017-12-28 11:16 | 显示全部楼层
nighttob 发表于 2017-12-27 21:03
我这不是最新版也是比较新的了
我还是认为这就是OEM FW的限制

改天我试试m5210用回2BM固件会不会被限速,但是有可能我这两块的型号、固件版本和你那个不一样,不会触发限制策略。
来自苹果客户端来自苹果客户端
Mufasa 发表于 2017-12-29 21:24 | 显示全部楼层
再问一下。

开启了LSI的Cache Cade以后,使用SSD加速机械盘阵列,是推荐 Always Read Ahead ,还是推荐 No Read Ahead

缓存策略是 Write Back with BBU,安装了电池模块(BBU)
nighttob  楼主| 发表于 2017-12-29 21:51 | 显示全部楼层
Mufasa 发表于 2017-12-29 21:24
再问一下。

开启了LSI的Cache Cade以后,使用SSD加速机械盘阵列,是推荐 Always Read Ahead ,还是推荐 No ...

CacheCade是单独的VD,跟HDD的VD是分开设置的。

你可以看LSI的best practices,我这里有一份NMR的,原理是一样的




本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
Mufasa 发表于 2017-12-29 22:00 | 显示全部楼层
nighttob 发表于 2017-12-29 21:51
CacheCade是单独的VD,跟HDD的VD是分开设置的。
你可以看LSI的best practices,我这里有一份 ...

谢谢,看了一下,保持我现在的设置就是厂家推荐的最优状态。
icyboy 发表于 2017-12-29 22:05 | 显示全部楼层
Mufasa 发表于 2017-12-29 21:24
再问一下。

开启了LSI的Cache Cade以后,使用SSD加速机械盘阵列,是推荐 Always Read Ahead ,还是推荐 No ...

这个就像CPU缓存一样理解L1 内存 L2 cachecade L3 机械阵列,传统SAS盘一般禁用磁盘缓存,近线SAS和SATA可开可不开,取决于性能和安全考虑。
来自苹果客户端来自苹果客户端
Mufasa 发表于 2017-12-29 22:18 | 显示全部楼层
icyboy 发表于 2017-12-29 22:05
这个就像CPU缓存一样理解L1 内存 L2 cachecade L3 机械阵列,传统SAS盘一般禁用磁盘缓存,近线SAS和SATA ...

有阵列卡的Write Back,磁盘那边用Direct IO就可以了,我很少用Cached IO这种设置。

LSI 建议开启了Cache Cade的机械盘阵列,使用No Read Ahead,这样可以充分利用SSD的缓存。

至于Write Back with BBU,这个是RAID5必备选项了,开启以后速度非常强劲,关闭以后慢得要命,一个天上一个地下。
icyboy 发表于 2017-12-30 00:14 | 显示全部楼层
Mufasa 发表于 2017-12-29 22:18
有阵列卡的Write Back,磁盘那边用Direct IO就可以了,我很少用Cached IO这种设置。

LSI 建议开启了Cach ...

其实只要缓存模块是DDR3,最低1G,即使有cachecade开了也有点提升的,我现在两块hgst 4T SAS 近线组R1,可惜前段时间拆来的m5210还没弄到合适的缓存模块,disks cache policy disable后慢的不行,只有开启,还好有个UPS。
另外你做cache cade的ssd啥型号?一般最差得dc级,掉电保护得够强大!
来自苹果客户端来自苹果客户端
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部