本帖最后由 nighttob 于 2012-8-22 13:30 编辑
早就预告过会写一篇我现在用的RAID卡的测试文了，原本是想等8块盘买全再写的，但是这时间就没准了，所以趁现在有空就先写了吧。
本文不是评测，因为没那条件（没人借我8块硬盘，我也不能把现有硬盘的数据清掉……），所以只能说是使用这块RAID卡半年多来的一些经验和心得。
HighPoint RocketRAID 2720（以下简称HPT RR2720），是一款定位入门级的SAS RAID/HBA，采用单芯片Marvell-88SE9485作为主控，无缓存，PCI-E2.0 x8总线接口，支持RAID0/1/5/6/10/50，有两个SFF-8087 mini SAS接口，一共可以连接8块内置硬盘（SAS及SATA，可混插）。
正面
![]()
背面
![]()
可以看到正面被散热片覆盖的就是Marvell-88SE9485主控，右侧的两个大接口就是SFF-8087 mini SAS接口，通过一分四数据线可以转成4个SAS或SATA接口。左上的两排插针分别是一组I2C接口和两组LED状态指示灯接口，旁边的圆柱体是蜂鸣器。
这块RAID卡是去年12月买的，价格是￥750，现在依然是￥750。买的主要目的是提高存储可靠性，因为之前两年中相继挂了3块大容量硬盘，两块是固件门，一块是摔坏的。再一个就是想动手实践一下RAID5。因为去年这时候硬盘价格很便宜，2T硬盘不到￥500，所以那时候已经有了3块2T和2块1.5T，都是单独挂接在主板和外置硬盘盒里。了解RAID的都知道，虽然RAID0可以提供N倍读写和容量，但是其中一块挂掉，所有数据都要遭殃，再加上这时候我已经认识到新硬盘的不可靠性，所以宁愿单着也不去组RAID0。但是随着日后硬盘不断增加，主板的接口也会不够用，外置硬盘盒总归不是那么好用，所以就准备买一个支持RAID5的阵列卡。
当时考虑过几个方案。首先是主板RAID5，经过了解（我有个同学是在服务器部门工作）得知主板做RAID5就纯粹一悲剧，写入性能不及单块硬盘，同时不能提供像样的RAID5冗余保护能力，换句话说主板RAID还没硬盘本身可靠，所以这个方案被否决了。然后就是独立的RAID卡，市面上卖的具有RAID功能的卡，大概可以分两类（我自己分的，不准确）。一类就是企业级的RAID/HBA卡，使用PCI-E x4/x8/x16接口，4块硬盘起跳，支持各种RAID级别和功能。还有就是消费级的SATA扩展卡，使用PCI-E x1接口，最多接4块硬盘，绝大部分只提供RAID0/1功能，其余就一概没有了。这两类卡比起来价格差异是很大的，因为我这时候已经有5块硬盘了，而且未来肯定要继续添置，所以消费级的SATA扩展卡，无论是可靠性还是可用性都不能满足要求，因此也被淘汰了。但是有这样一个产品引起了我的主意，Orico csa3655-s5r，同样是PCI-E x1接口，但是提供了5个SATA接口，还有一个SATA接口可以连接到主板提供BOOT支持和带宽协助，并且标称支持RAID5。它的性能如何暂且不论，如果我有5块2T的新盘的话，这个方案也许可行，但我手里的盘是已经写满数据的，不能重新初始化组RAID5，需要有RAID卡支持的在线扩容（OCE）和在线RAID级别迁移（ORLM）才行，所以我邮件询问Orico是否支持OCE和ORLM，他们的回答非常气人，跟我说市面上所有的RAID卡都不支持，然后我就再也不搭理他们了。
然后就只能关注企业级RAID卡了，于是求助于我那个同学，告诉我LSI 9260-8i。我去搜索了下，性能和功能确实不错，但是价格……供IBM的OEM货还￥2000（去年这时候），零售的就更贵了。这时候我也去了解了一些RAID卡相关的知识，当然，面向我自己需要的。我只需要这个RAID卡能提供RAID5级别的冗余保护，因为是作为资料存储盘，所以不需要有多少IOP，只要持续读写性能强过两块盘RAID0就行。LSI 9260-8i性能确实强，但是远超出我的需求，同样价格也是，我的预期是￥800左右（就跟现在的GTX660Ti一样，性能强，性价比也高，但是已经超过我两倍的游戏图形需求，所以肯定不会买）。接近￥800这个价位的只有LSI 9240-8i这样的HBA，但当时这个也是价格过千，而且在了解知识的过程中发现，LSI无缓存的RAID卡，做RAID5同样是个悲剧，也就比主板稍微强点，而且LSI 9240-8i本来就是扩展支持RAID5的，写入性能非常烂，所以LSI方案也只能放弃。
这时候就陷入了一个低不成高不就的不利境界，低端的功能不足，高端的价格太高。也是赶巧了，正好翻一些国外的低端RAID卡评测的时候发现了HighPoint RocketRAID 2680，然后去HighPoint的官网又看到了HPT RR2720。从外观上来看，这两款差不多，主要区别的就是主控和PCI-E接口版本，国内价格相差不到￥100。然后就搜索关于HPT RR2720的评测，基本都是国外的，反正大概能看懂（他们的总结中也常常有“难以置信的好”这样的字眼出现），而且不仅有跟LSI 9240-8i这样的对比，还有RAID0/5/6性能的测试，从国外各种网站的评测来看，HPT RR2720是块相当具有性价比的低端RAID卡，8盘RAID5持续写入有至少4盘RAID0的水平，这对我来说就已经足够了，随后又去HPT官网把说明书载下来看了看，发现功能和设置都不复杂，OCE/ORLM，阵列重建的操作也都很简单明晰，于是就下决心买了。
卡刚到手的时候并没有立即组RAID，因为那时候是硬盘涨的最厉害的时候。本来计划是等希捷新单碟1T的盘上市以后一气买8块，直接自己做一个评测，然后再投入使用，也省得OCE/ORLM了（因为没实践之前并不知道这种操作风险如何，我并不想冒数据丢失的风险）。但是单碟1T的价格比原先两块2T的都高，而且降价趋势不明显，所以新购硬盘的计划就一直被推迟了，计划也变成了扩充2T的型号。终于到今年4月的时候，2T价格降到了￥700以下，我也不愿意再等了，就买了三块，正是开始折腾这块RAID卡。
具体做法就是先把这三块盘做RAID5，然后把原有硬盘的数据复制到做好的RAID5里，之后再把原来的2T盘用OCE扩容进RAID5中。最后的结果是，6块2T的盘，其中5块是同型号（但是产地、固件版本是两种），这5块同型号的做成了RAID5，剩下的一块当作备用盘。因为如果阵列里有盘挂了，虽然此时还是可操作的，但是处于不稳定状态，如果不及时补盘重建，再有盘挂掉整个阵列就完蛋了，不能冒这个风险，所以预留了一块做备用。在这一段时间的使用中，这个决定也被证明是很正确的，上月底07挂的那块盘，就直接用备用盘顶上去了；前天一块盘出逻辑坏道，也是用备用盘替换，之后修复完坏道再替换回来。其实在服务器中，RAID5阵列里也是有一块盘作为热备而存在的，目的就是某块盘挂掉以后立即有盘能够顶上来，最大可能保证阵列安全。不过服务器里的备用盘是热备，即一直通电插在阵列卡上，我这个是冷备，通常离线装在盒子里。因为如果只是电线被碰掉了，或者磁盘偶尔卡顿被阵列卡判为失效，阵列卡就自动让热备盘顶上来（其实是可设置不自动重建的），但实际上硬盘是正常的，这时候就要手动中止重建，再把盘恢复回去，这又是一次重建。表达的可能有点绕，如果能实践一次就会明白了。总之自己当数据仓库使用的话，因为开机的时候人肯定就在附近，所以用冷备也足够了。
这4个月里，一共重建了有10回，其中5次是单块盘掉电导致的重建，4次是换盘重建，还有1次是最开始进行的重建实验。每次重建的时间是6小时左右，替换到备用盘的时候是6个半小时，同型号盘重建是5个半小时，跟盘本身的读写能力有关，备用盘的平均速度要慢约20MB/s。不得不说用了RAID5以后心里踏实不少，不用担心买到地雷盘然后丢数据的灾难了，同时RAID5的连续读写也很可靠，大部分都保持在300MB/s的水平上。因为我不喜欢一块盘分N个区，所以一整个实际8TB容量的分区看上去也很爽，只要内部文件夹布置的合理就没有影响。
扯淡部分到此结束
虽然只有5块盘，大概也能看出这块RAID卡的能力了。
没法测试连续写，不过其实差不多。
只能这么测试连续读写了，330MB/s其实挺不错了。
文件拷贝测试，总归是机械硬盘，这个肯定好看不到哪儿去。
本来还想通过SSD找找RAID卡和主板AHCI的差距的，但是单独一个X25-M看来也找不出什么差距。
这是X25-M接主板上。
这是X25-M接阵列卡上。MB/s那页基本看不出区别，换到iops这边还能看出一些，但是没有经过多次测试，所以也不能做准。
阵列卡的操作就不介绍了，这玩意毕竟是小众产品，如果是跟我有类似需求，想在自己家里弄个数据仓库或者家庭存储服务器的话，HPT RR2720这块卡可以推荐下。如果有兴趣也可以在帖子里交流，这里就只放一张事件记录的截图了。
稍微说明一下，"Array #### rebuilding started/completed"就是阵列重建开始/结束，"Spare disk #### at **** took over "就是热备的盘顶上去了，"Disk #### has been put into spare pool successfully"就是新添加一块盘作为阵列的热备盘，"Disk #### at **** failed"这个就是某块盘失效了（比如盘挂了，掉电了，这里是我自己把数据线拔掉了）同时蜂鸣器会响警报。最后几行可以看到，当有热备盘的时候，阵列里有盘离线，热备盘就会自动顶上去开始阵列重建。
最后提供一点资料，Marvell-88SE9485主控的官方PDF，这也是这块阵列卡低价但是有不俗性能的关键，虽然PDF里并没实际说啥。
再提供一个实用工具的简单介绍，你的硬盘健康哨兵-Hard Disk Sentinel，可以看RAID阵列后每块磁盘SMART状况的，搭配使用效果佳。 |
本帖子中包含更多资源
您需要 登录 才可以下载或查看，没有帐号？注册
x
|
[复制链接]
收藏
转播
