PCEVA,PC绝对领域,探寻真正的电脑知识
打印 上一主题 下一主题
开启左侧

在OpenMediaVault里干掉RAID5,升级RAID6

[复制链接]
跳转到指定楼层
1#
overthink 发表于 2015-11-5 14:04 | 只看该作者 回帖奖励 |正序浏览 |阅读模式
点击数:23170|回复数:69
本帖最后由 overthink 于 2015-11-5 15:39 编辑

距离上次在ESXi主机上添加LSI9240-8i扩展卡已经过去大半年了


RAID5搭建也已经有一年了

到目前为止,一直还算健康,不过RAID5的Write Hole一直是这台NAS的一个隐患,尤其对这种没有BBU的低端HBA卡来说,风险更大。


有关RAID5的Write Hole可以参考:


你知道RAID中的WriteHole问题吗?



RAID5在可靠性和效率上取得了很好的均衡。但RAID5现在来看也存在风险,一是校验算法导致存在“write hole”导致存在数据不一致的问题,二是3TB、4TB硬盘商用后使得重建时间较长,在重建期间极易第二块硬盘损坏导致RAID5崩溃。

为了提高可靠性、容错性,决定把NAS的阵列从RAID5升级到RAID6。升级到RAID6,容错性有提高,有利就有弊,升级后的两个弊端:一是可用空间要再减少一个盘的容量,再就是写入性能有损失。


与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。


综合考虑,还是决定升级到RAID6




从RAID5到RAID6,要先删除5再新建6。


先把数据导出,再把RAID5删除,再新建立RAID6,貌似不可以在线升级。


嗯,在理论上很简单,但是在实际操作上绕了一下。。。。。

在浏览器里打开NAS的IP地址,登录,找到RAID管理,想删除,结果是灰色的,没法删除。


应该是先删除文件系统吧,下移到文件系统,找到阵列,结果,挂载,卸载、删除全部是灰色的。


好吧,再往上,把FTP服务、SMB服务关掉




去掉启用的勾就好。记得要保存一下。

查看仪表盘,所有的服务都关掉了。


找到SMB/CIFS页面,把共享删除掉。


在访问权限管理,共享文件夹,也给删除掉。


有个提示,“共享文件夹里的内容将被删除”,如果没有重要东西在上面就可以删除了。


再到文件系统里,这下就可以卸载删除文件系统了


同样的,对于删除文件系统这种危险操作,提示是必须要有的。


确认之后就可以到RAID管理里面删除RAID5了。



删除成功,应用后生效。



下面就是到RAID管理里面选中硬盘建立RAID6,要建立RAID6,最少4个硬盘才可以。这儿是5个


Yes创建


点应用后会进行RAID6的初始化。初始化后才可以创建文件系统


5盘3T的RAID6的初始化耗时大概要500分钟吧,建议晚上睡前这么搞,第二天早上起来再查看状态。


早上起来收货,发现已经初始化完成。


再就是找到文件系统页面,在初始化成功的RAID6上面创建文件系统了。


设备那儿当然是选我们初始化好的RAID6,文件系统这儿选的是XFS,这儿根据个人喜好来了。有关LINUX里的文件系统性能简单比较可以参考:
http://www.open-open.com/lib/view/open1345593897282.html

综合考虑,文件系统我选了XFS(上次是EXT4)


这里和我们在WIN系统里格式化硬盘一样,虽说提示需要较长的时间,实际上比RAID6的初始化时间要少的多。


两三分钟就搞定了,状态已经变成“在线”了,看这个速度应该和WIN的快速格式化差不多。应该只是建立文件系统,并没实际读写。先等等,为什么没有容量显示?



在LINUX系统上,使用硬盘前需要挂载,没挂载当然不会显示容量了,挂载上去才会有显示。


挂载上就显示容量了,5盘3T,RAID6后可用空间是9T。按照1024进位计是8.19T,格式化成XFS文件系统后是8.18T。


之后就是设置共享文件夹,设置ACL之类的操作了,可以参考我之前的帖:
ESXi家用服务器搭建:家用NAS搭建篇

最后是速度测试:

这个是在ESXi内部的机器测试的,网络链接是虚拟的VMNET3万兆卡。

写速度有380M/s 读速度是170M/s,RAID6持续写速度有380M已经很满意了,读速度感觉不太正常,理论上应该比写速度要高。原因未知。

外部机器访问NAS的RAID6速度(千兆网络):

读写全部116+,可以吃满千兆的带宽。不错。


从RAID5折腾到RAID6,我怎么感觉我掉到了一个坑里呢。好吧,就这样,两年之内,除了添加硬盘扩展空间之外,不再折腾了。

PS:最后说一点,RAID5损坏,不要马上重建,先把重要数据导出,再重建,如果不导出就重建的话,在重建中再挂掉一个硬盘,那么这个阵列就完了,数据都救不回来了,切记切记。





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

评分

参与人数 1代金券 +50 收起 理由
石头 + 50 1精

查看全部评分

70#
鸡毛1998 发表于 2015-12-5 21:21 发自PCEVA移动客户端 | 只看该作者
LSI 9240-8i支持OCE(联机容量扩充)和RLM(RAID 级别迁移),楼主似乎可以在线升级欸

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
69#
overthink  楼主| 发表于 2015-12-2 10:42 | 只看该作者
hzy0110 发表于 2015-12-2 10:08
好惨。。那只能用硬R搞?我看硬R好像是有的

然后问一下。。LSI的9261和9260啥区别啊?好像9261便宜不少 ...

LSI9260有这功能,  9260和9261的区别百度一下就可以了嘛,做买硬卡做RAID建议9260起,9211,9240只能当个HBA卡用。

http://zhidao.baidu.com/link?url ... ULqLVfLVZeY_1fTUEDa
68#
hzy0110 发表于 2015-12-2 10:08 | 只看该作者

好惨。。那只能用硬R搞?我看硬R好像是有的

然后问一下。。LSI的9261和9260啥区别啊?好像9261便宜不少啊。。
67#
overthink  楼主| 发表于 2015-12-2 08:41 | 只看该作者
hzy0110 发表于 2015-12-1 21:55
想再问一下。。OMV能2盘R0+2盘无损升级到R5或R6么

不能。
66#
hzy0110 发表于 2015-12-1 21:55 | 只看该作者
overthink 发表于 2015-12-1 16:08
没自动获取到IP地址?
使用命令:
ifconfig -a查看一下eth0的IP

想再问一下。。OMV能2盘R0+2盘无损升级到R5或R6么
65#
hzy0110 发表于 2015-12-1 16:49 | 只看该作者
overthink 发表于 2015-12-1 16:08
没自动获取到IP地址?
使用命令:
ifconfig -a查看一下eth0的IP

再次感谢O版~可以啦。。用命令获取了下IP。。谢谢O版指导
64#
overthink  楼主| 发表于 2015-12-1 16:08 | 只看该作者
本帖最后由 overthink 于 2015-12-1 16:17 编辑
hzy0110 发表于 2015-12-1 16:07
恩。。就是一步步。。但是不出IP。。。



没自动获取到IP地址?
使用命令:
ifconfig -a查看一下eth0的IP

如果没有获取到,那就手动设置一下

63#
hzy0110 发表于 2015-12-1 16:07 | 只看该作者
overthink 发表于 2015-12-1 16:05
用户密码是在安装时候设置的啊。

我那帖里写的很详细了。一步步按照操作来就可以。

恩。。就是一步步。。但是不出IP。。。
62#
overthink  楼主| 发表于 2015-12-1 16:05 | 只看该作者
hzy0110 发表于 2015-12-1 15:54
恩。。我就是按的O班的教程。。=。=。。。可以。。跳过么???我跳过安装完了。。进去要我输入用户密码。 ...

用户密码是在安装时候设置的啊。

我那帖里写的很详细了。一步步按照操作来就可以。
61#
hzy0110 发表于 2015-12-1 15:54 | 只看该作者
本帖最后由 hzy0110 于 2015-12-1 16:05 编辑
overthink 发表于 2015-12-1 15:52
如果可以跳过APT,那就别在线升级, 等安装好了,设置完IP和DNS再APT就可以了

安装的教程:

恩。。我就是按的O班的教程。。=。=。。。可以。。跳过么???我跳过安装完了。。进去要我输入用户密码。。然后没有IP出来。。这。。为什么捏
我是装再EXSI下的。。EXSI是装的虚拟机。。是不是没有IP分配给OMV啊

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
60#
overthink  楼主| 发表于 2015-12-1 15:52 | 只看该作者
hzy0110 发表于 2015-12-1 15:43
感谢回答。。设置DNS和IP。。好像在安装过程没有的啊。。。

就是这个时候。。一直卡。。然后失败。。我 ...

如果可以跳过APT,那就别在线升级, 等安装好了,设置完IP和DNS再APT就可以了

安装的教程:
http://bbs.pceva.com.cn/thread-107370-1-1.html


貌似安装时的APT的DNS是通过DHCP获得的。建议换个源看看。
59#
hzy0110 发表于 2015-12-1 15:43 | 只看该作者
overthink 发表于 2015-12-1 14:34
ZFS的扩容比较麻烦,所以我没用。
在OMV年建立RAID是软RAID。

感谢回答。。设置DNS和IP。。好像在安装过程没有的啊。。。

就是这个时候。。一直卡。。然后失败。。我挂代理可以走几个。。然后又不行了。。。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
58#
overthink  楼主| 发表于 2015-12-1 14:34 | 只看该作者
hzy0110 发表于 2015-12-1 14:24
感谢O版,那OMV上直接建立RAID。算是系统啊的RAID吧?。。。ZFS我也看了。。但是这伙好像不能直接扩容啊? ...

ZFS的扩容比较麻烦,所以我没用。
在OMV年建立RAID是软RAID。


你要设置一下OMV,IP和DNS设置好了,才可以使用APT升级。

57#
hzy0110 发表于 2015-12-1 14:24 | 只看该作者
本帖最后由 hzy0110 于 2015-12-1 14:27 编辑
overthink 发表于 2015-12-1 07:08
可靠性,看你怎么比了,差别有,不大。有好的软R(ZFS),有一般的软R(主板自带RAID)

ZFS,除了比较占用 ...

感谢O版,那OMV上直接建立RAID。算是系统啊的RAID吧?。。。ZFS我也看了。。但是这伙好像不能直接扩容啊?比如我原有4个做了R5,再加一个盘。。好像是加不了的吧?

顺带问一下OMV的问题。。。我昨天安装了半天。APT下载都失败了。。。咋办?要翻墙?1.9和2.1都这样


56#
overthink  楼主| 发表于 2015-12-1 07:08 | 只看该作者
本帖最后由 overthink 于 2015-12-1 07:12 编辑
hzy0110 发表于 2015-11-30 23:15
软R比硬R唯一的差别是性能么???还有没有可靠性的差别啊?比如硬R的卡挂了。。可以换卡。。软R系统挂了。 ...
可靠性,看你怎么比了,差别有,不大。有好的软R(ZFS),有一般的软R(主板自带RAID)

ZFS,除了比较占用内存资源之外,在性能、可靠性上完爆硬R。

主板自带的RAID要差一点。

系统挂了,没有影响,直接安装个新系统就可以,RAID还在,数据还在。

我曾经重新安装过OMV,从比较老的版本更换到比较新的版本,之后把所有HDD接上,RAID直接认出,数据全在。

只是设置丢失,需要重新设置一下SAMBA,用户名,密码,共享文件夹什么的。
55#
hzy0110 发表于 2015-11-30 23:15 | 只看该作者
软R比硬R唯一的差别是性能么???还有没有可靠性的差别啊?比如硬R的卡挂了。。可以换卡。。软R系统挂了。。对R本身有影响么?
54#
eterfinity 发表于 2015-11-30 21:59 | 只看该作者
本帖最后由 eterfinity 于 2015-11-30 22:05 编辑
nighttob 发表于 2015-11-6 18:12
对RAID来说,XOR是RAID逻辑算出来的,下面的块设备仍然是LBA读、写操作。(话说这还是我第一次在论坛看见有 ...

前面楼层的,很多都不知道raid5到底是怎么回事,raid卡的write back + bbu到底又是怎么回事,就直接用陈述句了。
甚至于raid5的“校验盘”都冒出来了。
53#
xudaiqing 发表于 2015-11-9 20:11 | 只看该作者
nighttob 发表于 2015-11-9 20:04
我觉得就是因为Strip和Stripe太容易混,所以开发者设计了Chunk等词汇用以区分

但另一方面,不同平台和环 ...

IBM 还搞出过raid hole
52#
nighttob 发表于 2015-11-9 20:04 | 只看该作者
OstCollector 发表于 2015-11-9 15:28
我错了,作为mdadm使用者,我用了从没定义过的用语

https://raid.wiki.kernel.org/index.php/RAID_setup

我觉得就是因为Strip和Stripe太容易混,所以开发者设计了Chunk等词汇用以区分

但另一方面,不同平台和环境下的Page和Block等术语也足够混乱了
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部