HighPoint RocketRAID 2720 RAID6 补完测试

昨天发帖说过硬盘已经买齐了，测试通过，并且开始阵列迁移了。今天就是进行正式测试。

本来说好的，今天早上7点预计迁移完毕，结果昨天晚上玩游戏时候看了眼WebGUI，进度条直接蹦到了85%，预计1小时后完成……进度条君果断又坑爹了。不过这也不是第一回了，当初从3盘OCE到5盘的时候就有这么一回。可见进度条和预期时间是绝对不靠谱的。

迁移整体耗时约27小时，还不算特别慢。还可以看到每个月我都会做一次完整性测试，但是从来没出过问题。

废话不多说了，关于这块阵列卡的一些介绍和RAID5的简单测试，请看实用入门级RAID卡-HighPoint RocketRAID 2720使用心得。
如果还想看迁移的WebGUI和我的机箱里现在什么模样，请看小盘霸的机箱 （有什么可看的……）。

在贴测试结果之前还是要先说一句，组这个磁盘阵列，一半是为了数据安全可靠，一半是为了玩。然后很重要的一点是，这个阵列是用来当存储的，因此只要够大，有一定读写速度就可以，iops有多高对我来说没有意义。

首先是测HDD都少不了的HD Tune。因为跟上回一样的原因，所以只能测试读，看看就得。

可以看出锯齿比上回5盘RAID5还密集，波动也更明显，但是到了数值上跟上回的没有多大区别。而且从头至尾，波动的中线都是直的，不像上回到了60%以后明显向下弯，也就是说随着盘数的增加，内圈减速也被掩盖了。

当然真正考验阵列卡性能的还是写入。因为很多测得准的写入测试都要删除分区，咱不能这么干，所以只能用大概齐的AS SSD来测试下了。

可以看到连续读写都超过了500MB/s，比HD Tune里明显高了不少，原因很可能是测试的数据块不同。
不得不说AS SSD就是用来测试SSD的，用它测试HDD真是痛苦无比。大家用AS SSD测试自己的SSD用多久？几十秒？撑死2分钟吧，知道我跑完测试用了多久么？2个半小时……其实看看4K 0.几的MB/s和两位数的iops大家就可以想象过程是多么痛苦。事实上这也是我第一次在阵列里跑完整个AS SSD评分。

更多的iops测试就不做了，1/3是用不到，2/3是这块阵列卡没缓存，3/3是这是8块5900转的仓库盘（ST2000DL003，已停产），如果还不明白就看浴室大大的科普帖吧。

接着是很不靠谱，但确是喜闻乐见的ATTO测试。

因为测试队列深度比较低，所以测试时间并不长，结果也比较好看。可以看到到了64K后就稳定了，原因是阵列的Block Size(Strip Size, Cluster Size)设定的就是64KB。
！*以下蓝字部分为个人理解，如有错误请各位大大指出。*！
再多说一点就是，一般存储目的的阵列用RAID5/6的相对多，因为大多数情况下只需要大数据块，就像这里64K、1M、16M的测试情况，也就是更偏重连续读写。而大型数据库应用，则是iops倾向，要求4K左右的数据块，这种要求天生不适合RAID5/6，只有RAID10能同时满足高性能和可靠性要求。一般RAID5/6的Block Size不会低于64KB，但是RAID0/1/10可以到4KB。如果明白各个级别RAID的原理的话就明白，64KB的Block Size就是把数据以64KB的块分成若干份，然后平均分布到阵列中的各块盘上。比如10MB的数据，以64KB的Block Size来说就是要分成160块，4KB的Block Size就是2560块，这之间差了16倍。对RAID5/6来说，阵列卡在分块的同时，还要计算冗余校验块。就拿我的阵列来举例，当8块盘做RAID5的时候，每分7个数据块，就要计算1个校验块，然后分别写入到8块硬盘中。对阵列卡来说，分块容易，真正压力在于计算校验块。160个数据块，就是要计算23个校验块；而2560个数据块，就是要计算366个校验块。同样的写入文件大小，Block Size越小，对阵列卡的压力也就越大。可想而知的就是，当从RAID5升级成RAID6的时候，这种压力绝不仅是倍增。而RAID1/10只是把同样的数据块写两次，所以压力要低得多，但即使这样当Block Size低到一定程度的时候，分块的压力也一样能撑爆阵列卡。所以一般情况下，RAID5/6的Block Size不会低于64KB，如果像我这种纯粹存储目的，其实可以设置在1MB，但是这块阵列卡不支持；RAID 0/1/10可以根据用途不同，选择的Block Size也不同。

最后是实际文件拷贝测试，从M4 128GB往阵列里传一个4GB大的视频文件。

结果是只有464MB/s，但这并不代表阵列的实际水平，因为大家要知道M4 128G的读速度其实也就500MB/s左右，我刚重测了一遍是491MB/s，如果算上乱七八糟的差损，464MB/s的文件复制速度还是很靠谱的。换句话说，M4的读速度成为了瓶颈……

然后是阵列中的拷贝测试，盘内拷贝一个7.5G大的视频文件。

拷贝速度170MB/s，HDD+RAID6，差不多就是这样了。

整个测试就是这么多了，我也没找专门用来测试磁盘阵列的软件，本来咱们就不专业，也没有专业用途。不过这些测试已经可以让大家对这款阵列卡的RAID6性能有一定了解了，如果想看一些专业的，可以google搜索关键字"HighPoint RocketRAID 2720 Review"，我当时下定决心买这块阵列卡，也是看了很多国外的评测。事实上，这块阵列卡也确实挺让我吃惊+满意的。需要再强调一次的就是，这是块没有缓存，而且只卖￥750（TB均价及我当时购买的价格，不含线，线并不便宜）的SAS阵列卡。

还有几个不甚清楚的问题，一个是HPT RR2720和HPT RR2720 SGL是两个不同的东西，我的应该是SGL版，至于这俩的区别我没弄明白，HPT官网上也没写出区别，我觉得是是否支持RAID6或者RAID/HBA的区别，也有可能是有没有原装线的区别。但是主控都是一样的，理论上只要刷对固件最后就是一样的东西，固件确实是有RAID固件和HBA固件。如果有人要买的话，建议先问清楚，另外x东上也有卖，而且是同样的名字，但是俩价格，描述的都差不多，但x东客服说不一样，我表示没理解。
还有一个是，当阵列迁移成RAID6以后，RAID ROM不再能识别阵列，也就是开机的蓝屏里看不到阵列了，如果在开关机时候硬盘出问题，还得在进入系统以后才能发现。也有一种说法是，这个阵列卡的RAID ROM只支持到RAID5，但是卡本身是支持RAID6的，只是在WebGUI里才能操作，当然这不影响使用，只是有点不便于管理。

这就是现在的"我的电脑"截图。整个阵列计划使用3年，然后被填满。快满的时候可能会降级到RAID5，彻底满了以后就去做一个新的，更大容量的阵列，也许会实施DIY外置JBOD的计划。当然由于是消费级硬盘，很可能坚持不到那时候就已经被迫要换新的了，一切看变化。

---

[11月14更新]

前天给HighPoint发信询问几个问题，今天收到了答复。

RR2720和RR2720SGL软硬上都是一个东西，只是SGL不含原装线。不过这样一来，x东上卖的东西就更难以理解了……

RAID BIOS(ROM)，并不支持RAID6，所以只能在系统中的WebGUI和CLI里管理和操作，也是正常的。

还有一个就是问能不能接SAS Expander扩展，并且RAID6是否依然可用。给的回答我并不明白：

SAS expander is not supported in the RocketRAID controller. If you use RocketEJ products then you can add more devices per port. See the link below on how to use the RocketEJ products.

http://www.highpoint-tech.com/USA_new/cs-series_EJ6172-Series.htm

大概意思就是RR系列阵列卡不支持SAS Expander，如果用了HPT自己家的RocketEJ扩展卡就可以增加盘数，然后下面是EJ6172的链接。EJ6172这个东西写的是个External SAS-JBOD Expansion，但是没明确支持RR2720，和RAID级别，所以我继续追问了。如果我未来要想无缝再扩展盘数的话，这个信息就是有用的。如果不可行的话，就需要完全新建一个阵列了。

你居然把HDD的ASSD测试等完了。。。厉害。。。

hyenax1950xtx 发表于 2012-11-10 14:22
你居然把HDD的ASSD测试等完了。。。厉害。。。

我让它开跑，然后我就去做日常了，日常完发现4K刚完，然后去吃饭回来发现彻底完了。

nighttob 发表于 2012-11-10 14:28
我让它开跑，然后我就去做日常了，日常完发现4K刚完，然后去吃饭回来发现彻底完了。 ...

厉害。。。佩服。。。盘霸这个RAID好口水。。。

膜拜一下。。

raid 6 貌似可以啊。
纪录片帝。

lz可以试下zfs系统

deyu260 发表于 2012-11-12 02:13
lz可以试下zfs系统

这不是服务器，是在我日常用的机器上的阵列，所以我要保证在windows下随时可用，而不是注重阵列的效率最大。

11月14日更新两个问题的答复。

我同样用这个卡建的raid5，怎么用fastcopy 同盘拷贝怎么只有不到20M/S的速度，是否我哪里设置有问题啊！请教！！

2720组raid56很危险的, 除非使用企业级硬盘。这个驱动好像会自动打开硬盘的erec/tler特性。我有次做oce直接挂掉, 已好进度已经在过了原有容量。smart里的日志记录是#IDNF错误，找不到扇区。但全盘读写捡查没有任何坏道。可能是erec导致硬盘没有错误重试直接触发读写错误导致的。
这里说一下oce进度问题，oce分两个阶段，原数据迁移和新空间初始化。前面数据迁移很慢，因为要掉电保护，而后面初始化很快，可以直清零。
SAS expander作为jbod 应该是支持的，做raid就不清楚。甚至sata pm 都支持，速度非常快，但不能做raid，待机唤醒也有问题。
2720还有一r个问题，虽然软件支持硬盘待机，但非企业级硬盘很大概率唤醒掉盘或者数据损坏。wd绿盘一般是数据损坏，其它产家则是掉盘。

hcey 发表于 2013-4-21 11:25
我同样用这个卡建的raid5，怎么用fastcopy 同盘拷贝怎么只有不到20M/S的速度，是否我哪里设置有问题啊！请 ...

你空盘读写是多少，把你logical那页发来看看。

s4e8 发表于 2013-4-21 12:14
2720组raid56很危险的, 除非使用企业级硬盘。这个驱动好像会自动打开硬盘的erec/tler特性。我有次做oce直接 ...

应该说是默认启动EREC和TLER吧，就是不关心你的硬盘是否支持。所以我上的盘都是实证没有各种门的盘，电源这方面也做了强化，确保不会出现停滞的状况。

这个卡对阵列休眠再启动的问题我也发现了，之前这么干掉了两回盘，所以就直接禁用了。

Expander，目前是没地方放了，以后再说以后的事。

nighttob 发表于 2013-4-21 12:51
你空盘读写是多少，把你logical那页发来看看。

这个问题解决了，是我选择了Write Through，谢谢回复，
在请问，看楼上的帖子，似乎这个卡如果休眠，会容易造成硬盘损坏是怎么回事，难道说电脑待机休眠后，硬盘损坏概率大？那不是我的电脑一直要保证不待机状态吗，我基本是不关机的。

还担心下面几个问题：望楼主传授点经验

1、系统在执行重建任务时承受着巨大的负载，很有可能在长时间的重建过程中损坏第二块盘。增大了重建过程中第二块磁盘故障的概率。

2、 人为错误：当一块硬盘坏掉时，维护人员会用一块新盘来取代这个坏掉的盘。此时如果发生维护人员拔错硬盘的状况，就会造成同时掉两块盘的状况，RAID 数据将丢失。基于人为因素的不可控性，此类情况的发生概率也不容忽视。

还有，一但我发现阵列有问题，通过软件发现是那个盘故障，然后，关机（兼容机主板，空间不大不方便热插拔），换盘，然后重新启动系统，别的就不要管了吧

是指硬盘闲置待机功能。系统电源管理里面的硬盘闲置待机功能是无法使用的，必须用highpoint管理页面里面设置闲置超时待机功能，这个功能有2个问题：
1. 就是RAID盘待机情况下读写文件，可能无法唤醒待机的硬盘导致RAID损坏，而却概率很大。特别是系统关机时，会唤醒所有待机的硬盘，很大概率掉盘。
2. 系统休眠后再唤醒，管理页面设置的闲置待机超时会失效。也就是RAID硬盘再也不进入待机模式。需要重启hghpoint服务才行。net stop hptsvr & net starthptsvr

至于硬盘拔错造成RAID出问题，可以事先备份RAID配置，出问题时把好的盘插入，强制恢复RAID配置。

s4e8 发表于 2013-4-23 12:49
是指硬盘闲置待机功能。系统电源管理里面的硬盘闲置待机功能是无法使用的，必须用highpoint管理页面里面设 ...

你的意思是图一的功能实际是系统设置了也没作用，要使用硬盘待机，必须使用图2的选项，但是图二会造成隐患是吗

对。24小时开机影响软大。一般用户元所谓。

hcey 发表于 2013-4-23 11:32
这个问题解决了，是我选择了Write Through，谢谢回复，
在请问，看楼上的帖子，似乎这个卡如果休眠，会容 ...

楼上解释过了，我稍微补充。

我一贯的观点是，HDD挂掉，除非是物理损坏（碰撞和电压），否则都是有先兆的。在我们可以保证硬盘稳定运行环境和持续的硬盘状况检测的情况下，可以避免不可预期的挂盘。所以即使是重建这样的高强度作业中，也不用太担心挂盘的事。至于有没有可能发生，肯定有，真在你面前发生了，别犹豫，直接下楼买彩票去吧。

一般的阵列卡在阵列已经降级至R0的情况下，再掉盘会锁定阵列，比如HPT的就应该是状态从critical变成disabled。除非你强制上线（这卡好像不支持），否则此阵列上的所有逻辑分区都是不可操作的。把误移除的盘重新连接上就能自动识别回来，即使不能自动识别也可以直接删除阵列，重新建立相同级别的阵列，在初始化里面选择keep old data，创建完成阵列就回来了。或者是楼上说过的，恢复RAID配置信息。对已disabled状态阵列恢复，HPT有个PDF教程告诉你什么情况做什么，去看一下就是，有中文版的。

多盘阵列的话，一般大家都会在盘上或者热插拔硬盘架上贴标签标注是哪个阵列的哪块盘的，所以这个人为因素也可以杜绝，当然故意的没辙……

换盘的话，热和冷在重建时间上有点区别，但是我没做过直接对比测试。最早的时候关机换盘重启，重建用了26个小时；后来都是热插拔的，重建6小时左右。都是5盘R5，但是对应的主机配置和阵列卡固件版本都不同，所以不能直接对比。