PCEVA,PC绝对领域,探寻真正的电脑知识
打印 上一主题 下一主题
开启左侧

自用服务器·改七-NMR与SAS扩展器合体及基准测试

[复制链接]
跳转到指定楼层
1#
nighttob 发表于 2016-4-24 13:24 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
点击数:3270|回复数:3
之前两个帖子分别介绍了NMR 8110SAS扩展器,买这两样东西的目的当然是为了升级扩展服务器的存储,合体后是这样的

物理驱动器视图

NMR的miniSAS-4i插在RES2CV240的E口上,原来的8盘插在A B口上,用来做中转的盘插在主板RAID模块上。

逻辑驱动器视图

由于未知原因,并不能直接把MR9260替换成NMR8110,会报告Foreign Configuration,且无法导入。我猜想是NMR的固件比MR9260的老,所以阵列是从高版本降低,故不可行。所以只能手动倒腾一遍数据,这当然也是准备好的预案之一,为此也另外购买了4块ST2000DL003。

来回来去折腾了数遍以后的最终结果是这样的

物理驱动器视图

全部12块ST2000DL003插在RES2CV240的A B C口上

逻辑驱动器视图

现在是10块2T做RAID 6,另外2块作为热备,NFC是RAID 0回写

在启动NFC缓存之前做个裸阵列的基准测试,都是1M条带,回写,HD Tune 8M块

写入测试

关闭预读的读取测试

开启预读的读取测试

启动NFC缓存并关闭阵列预读后跑一个HD Tune 8M块和TxB 32GB


对阵列来说,NMR到SAS扩展器之间SAS 6Gb/s x4的链接速度不成为瓶颈
毕竟单盘性能只有140-60,10盘RAID 6以后1100-400可以说是线性增长了,双重parity验证降低了些许读取性能
写入方面,如果全部写入都要被缓存的话,因为NFM性能有限,所以持续写入性能反而会有减损,但随机性能的受益还是会远大于持续性能的损失的
读取方面情况类似,但1000MB/s的持续速度还是有保障的,开启预读就是原本阵列的读取性能,关闭预读就要充分利用缓存性能了
可能有人会嫌4K QD1还是低,NFM毕竟是SF2582,而且是做缓存,裸阵列这个数连1MB/s都到不了

基准测试部分到此结束,下面说说数字不会告诉你的东西

1、既然是缓存,那么肯定要多跑两遍才能达到最大效果。所以如果单纯是存储用途,入NMR完全没意义,反而因为原生接口不足,还要额外买配件;
2、不一定能无缝迁移。这一点上面说过了,虽然都是LSI出产的阵列卡,但迁移上还是有限制,考虑到可用性,NMR也不是很好的选择;
3、在线扩容(OCE)和在线阵列重构(ORLM)会强制断开NMR缓存,并重置阵列属性为直写,而且不可逆。为此我等了3天多,如果手里中转用的盘足够的话,尽量一次性搞定;
4、LSI2208芯片发热量很高。没有主动散热的话随便90℃甚至105℃,所以一定做好散热;
5、NMR+RES2CV240以后,HD Sentinel每次刷新SMART状态(默认是5分钟)都会导致RES2CV240出错重置,包括MR9260也会。就像这样,上面图上也有
  1. Controller ID: 0 Unexpected sense: PD = 8-Invaild field in CDB, CDB = 0x5a 0x00 0x1c 0x00 0x00 0x00 0x00 0x00 0xfc 0x00, Sense: 0x70 0x00 0x05 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x24 0x00 0x00 0x00 0x00 0x00
  2. Controller ID: 0 Unexpected sense: PD = 8-Invaild field in CDB, CDB = 0x4d 0x00 0x40 0x00 0x00 0x00 0x00 0x00 0xfc 0x00, Sense: 0x70 0x00 0x05 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x24 0x00 0x00 0x00 0x00 0x00
  3. Controller ID: 0 PD Reset: PD = 8, Error = 3, Path = 0x5001E673D9DDDFFD
  4. Controller ID: 0 PD Reset: PD = 8, Error = 3, Path = 0x5001E673D9DDDFFD
复制代码
这时候会有短时无响应或者读写速度骤降。但在Intel OEM自LSI卡上面就不会有这个问题,所以还是兼容性的事。解决方案要么是关掉HDS,要么把刷新间隔开大。

最后是现在服务器的样子,显然变更乱了

4号盘已经退役了,9号盘接班,光驱位里面有4个新买的
SAS扩展器暂时放在电源上面,为防止短路下面有一层塑料片
侧板上有个12025进气,可以照顾到全部板卡及SAS扩展器的散热
强迫症请一定计算好需要多长的线,以及是否需要弯头的线缆

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
2#
鸡毛1998 发表于 2016-4-24 14:57 | 只看该作者
感觉NMR和cachecade区别不大啊,还不如cachecade灵活。
3#
红色国度 发表于 2016-4-25 10:40 | 只看该作者
MSM是连到ESXi上的截图?
4#
nighttob  楼主| 发表于 2016-4-25 10:52 | 只看该作者
红色国度 发表于 2016-4-25 10:40
MSM是连到ESXi上的截图?

直通进去的
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部