PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 自用服务器·改七-NMR与SAS扩展器合体及基准测试 [打印本页]

作者: nighttob 时间: 2016-4-24 13:24
标题: 自用服务器·改七-NMR与SAS扩展器合体及基准测试
之前两个帖子分别介绍了NMR 8110和SAS扩展器，买这两样东西的目的当然是为了升级扩展服务器的存储，合体后是这样的
[attach]353126[/attach]
物理驱动器视图

NMR的miniSAS-4i插在RES2CV240的E口上，原来的8盘插在A B口上，用来做中转的盘插在主板RAID模块上。
[attach]353127[/attach]
逻辑驱动器视图

由于未知原因，并不能直接把MR9260替换成NMR8110，会报告Foreign Configuration，且无法导入。我猜想是NMR的固件比MR9260的老，所以阵列是从高版本降低，故不可行。所以只能手动倒腾一遍数据，这当然也是准备好的预案之一，为此也另外购买了4块ST2000DL003。

来回来去折腾了数遍以后的最终结果是这样的
[attach]353125[/attach]
物理驱动器视图

全部12块ST2000DL003插在RES2CV240的A B C口上
[attach]353124[/attach]
逻辑驱动器视图

现在是10块2T做RAID 6，另外2块作为热备，NFC是RAID 0回写

在启动NFC缓存之前做个裸阵列的基准测试，都是1M条带，回写，HD Tune 8M块
[attach]353130[/attach]
写入测试
[attach]353129[/attach]
关闭预读的读取测试
[attach]353128[/attach]
开启预读的读取测试

启动NFC缓存并关闭阵列预读后跑一个HD Tune 8M块和TxB 32GB
[attach]353136[/attach]
[attach]353135[/attach]
对阵列来说，NMR到SAS扩展器之间SAS 6Gb/s x4的链接速度不成为瓶颈
毕竟单盘性能只有140-60，10盘RAID 6以后1100-400可以说是线性增长了，双重parity验证降低了些许读取性能
写入方面，如果全部写入都要被缓存的话，因为NFM性能有限，所以持续写入性能反而会有减损，但随机性能的受益还是会远大于持续性能的损失的
读取方面情况类似，但1000MB/s的持续速度还是有保障的，开启预读就是原本阵列的读取性能，关闭预读就要充分利用缓存性能了
可能有人会嫌4K QD1还是低，NFM毕竟是SF2582，而且是做缓存，裸阵列这个数连1MB/s都到不了

基准测试部分到此结束，下面说说数字不会告诉你的东西

1、既然是缓存，那么肯定要多跑两遍才能达到最大效果。所以如果单纯是存储用途，入NMR完全没意义，反而因为原生接口不足，还要额外买配件；
2、不一定能无缝迁移。这一点上面说过了，虽然都是LSI出产的阵列卡，但迁移上还是有限制，考虑到可用性，NMR也不是很好的选择；
3、在线扩容（OCE）和在线阵列重构（ORLM）会强制断开NMR缓存，并重置阵列属性为直写，而且不可逆。为此我等了3天多，如果手里中转用的盘足够的话，尽量一次性搞定；
4、LSI2208芯片发热量很高。没有主动散热的话随便90℃甚至105℃，所以一定做好散热；
5、NMR+RES2CV240以后，HD Sentinel每次刷新SMART状态（默认是5分钟）都会导致RES2CV240出错重置，包括MR9260也会。就像这样，上面图上也有

Controller ID: 0 Unexpected sense: PD = 8-Invaild field in CDB, CDB = 0x5a 0x00 0x1c 0x00 0x00 0x00 0x00 0x00 0xfc 0x00, Sense: 0x70 0x00 0x05 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x24 0x00 0x00 0x00 0x00 0x00
Controller ID: 0 Unexpected sense: PD = 8-Invaild field in CDB, CDB = 0x4d 0x00 0x40 0x00 0x00 0x00 0x00 0x00 0xfc 0x00, Sense: 0x70 0x00 0x05 0x00 0x00 0x00 0x00 0x0a 0x00 0x00 0x00 0x00 0x24 0x00 0x00 0x00 0x00 0x00
Controller ID: 0 PD Reset: PD = 8, Error = 3, Path = 0x5001E673D9DDDFFD
Controller ID: 0 PD Reset: PD = 8, Error = 3, Path = 0x5001E673D9DDDFFD

复制代码

这时候会有短时无响应或者读写速度骤降。但在Intel OEM自LSI卡上面就不会有这个问题，所以还是兼容性的事。解决方案要么是关掉HDS，要么把刷新间隔开大。

最后是现在服务器的样子，显然变更乱了
[attach]353156[/attach]
4号盘已经退役了，9号盘接班，光驱位里面有4个新买的
SAS扩展器暂时放在电源上面，为防止短路下面有一层塑料片
侧板上有个12025进气，可以照顾到全部板卡及SAS扩展器的散热
强迫症请一定计算好需要多长的线，以及是否需要弯头的线缆

作者: 鸡毛1998 时间: 2016-4-24 14:57
感觉NMR和cachecade区别不大啊，还不如cachecade灵活。

作者: 红色国度 时间: 2016-4-25 10:40
MSM是连到ESXi上的截图？

作者: nighttob 时间: 2016-4-25 10:52

红色国度发表于 2016-4-25 10:40
MSM是连到ESXi上的截图？

直通进去的

欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/)