PCEVA,PC绝对领域,探寻真正的电脑知识
打印 上一主题 下一主题
开启左侧

在OpenMediaVault里干掉RAID5,升级RAID6

[复制链接]
跳转到指定楼层
1#
overthink 发表于 2015-11-5 14:04 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
点击数:22851|回复数:69
本帖最后由 overthink 于 2015-11-5 15:39 编辑

距离上次在ESXi主机上添加LSI9240-8i扩展卡已经过去大半年了


RAID5搭建也已经有一年了

到目前为止,一直还算健康,不过RAID5的Write Hole一直是这台NAS的一个隐患,尤其对这种没有BBU的低端HBA卡来说,风险更大。


有关RAID5的Write Hole可以参考:


你知道RAID中的WriteHole问题吗?



RAID5在可靠性和效率上取得了很好的均衡。但RAID5现在来看也存在风险,一是校验算法导致存在“write hole”导致存在数据不一致的问题,二是3TB、4TB硬盘商用后使得重建时间较长,在重建期间极易第二块硬盘损坏导致RAID5崩溃。

为了提高可靠性、容错性,决定把NAS的阵列从RAID5升级到RAID6。升级到RAID6,容错性有提高,有利就有弊,升级后的两个弊端:一是可用空间要再减少一个盘的容量,再就是写入性能有损失。


与RAID 5相比,RAID 6增加了第二个独立的奇偶校验信息块。两个独立的奇偶系统使用不同的算法,数据的可靠性非常高,即使两块磁盘同时失效也不会影响数据的使用。但RAID 6需要分配给奇偶校验信息更大的磁盘空间,相对于RAID 5有更大的“写损失”,因此“写性能”非常差。


综合考虑,还是决定升级到RAID6




从RAID5到RAID6,要先删除5再新建6。


先把数据导出,再把RAID5删除,再新建立RAID6,貌似不可以在线升级。


嗯,在理论上很简单,但是在实际操作上绕了一下。。。。。

在浏览器里打开NAS的IP地址,登录,找到RAID管理,想删除,结果是灰色的,没法删除。


应该是先删除文件系统吧,下移到文件系统,找到阵列,结果,挂载,卸载、删除全部是灰色的。


好吧,再往上,把FTP服务、SMB服务关掉




去掉启用的勾就好。记得要保存一下。

查看仪表盘,所有的服务都关掉了。


找到SMB/CIFS页面,把共享删除掉。


在访问权限管理,共享文件夹,也给删除掉。


有个提示,“共享文件夹里的内容将被删除”,如果没有重要东西在上面就可以删除了。


再到文件系统里,这下就可以卸载删除文件系统了


同样的,对于删除文件系统这种危险操作,提示是必须要有的。


确认之后就可以到RAID管理里面删除RAID5了。



删除成功,应用后生效。



下面就是到RAID管理里面选中硬盘建立RAID6,要建立RAID6,最少4个硬盘才可以。这儿是5个


Yes创建


点应用后会进行RAID6的初始化。初始化后才可以创建文件系统


5盘3T的RAID6的初始化耗时大概要500分钟吧,建议晚上睡前这么搞,第二天早上起来再查看状态。


早上起来收货,发现已经初始化完成。


再就是找到文件系统页面,在初始化成功的RAID6上面创建文件系统了。


设备那儿当然是选我们初始化好的RAID6,文件系统这儿选的是XFS,这儿根据个人喜好来了。有关LINUX里的文件系统性能简单比较可以参考:
http://www.open-open.com/lib/view/open1345593897282.html

综合考虑,文件系统我选了XFS(上次是EXT4)


这里和我们在WIN系统里格式化硬盘一样,虽说提示需要较长的时间,实际上比RAID6的初始化时间要少的多。


两三分钟就搞定了,状态已经变成“在线”了,看这个速度应该和WIN的快速格式化差不多。应该只是建立文件系统,并没实际读写。先等等,为什么没有容量显示?



在LINUX系统上,使用硬盘前需要挂载,没挂载当然不会显示容量了,挂载上去才会有显示。


挂载上就显示容量了,5盘3T,RAID6后可用空间是9T。按照1024进位计是8.19T,格式化成XFS文件系统后是8.18T。


之后就是设置共享文件夹,设置ACL之类的操作了,可以参考我之前的帖:
ESXi家用服务器搭建:家用NAS搭建篇

最后是速度测试:

这个是在ESXi内部的机器测试的,网络链接是虚拟的VMNET3万兆卡。

写速度有380M/s 读速度是170M/s,RAID6持续写速度有380M已经很满意了,读速度感觉不太正常,理论上应该比写速度要高。原因未知。

外部机器访问NAS的RAID6速度(千兆网络):

读写全部116+,可以吃满千兆的带宽。不错。


从RAID5折腾到RAID6,我怎么感觉我掉到了一个坑里呢。好吧,就这样,两年之内,除了添加硬盘扩展空间之外,不再折腾了。

PS:最后说一点,RAID5损坏,不要马上重建,先把重要数据导出,再重建,如果不导出就重建的话,在重建中再挂掉一个硬盘,那么这个阵列就完了,数据都救不回来了,切记切记。





本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

评分

参与人数 1代金券 +50 收起 理由
石头 + 50 1精

查看全部评分

2#
overthink  楼主| 发表于 2015-11-5 14:37 | 只看该作者
昨天又在X东剁了一块水区3T,来扩充容量。
3#
OstCollector 发表于 2015-11-5 14:53 | 只看该作者
其实mdadm支持直接把raid5升级为raid6的……

话说,R6一样有Write Hole,不知道现在文件系统的journal和journal checksum机制是否能够去除这种问题
4#
overthink  楼主| 发表于 2015-11-5 15:05 | 只看该作者
OstCollector 发表于 2015-11-5 14:53
其实mdadm支持直接把raid5升级为raid6的……

话说,R6一样有Write Hole,不知道现在文件系统的journal和jo ...

为了彻底解决Write Hole问题,在设计RAID的时候可以采用如下两种方法:

1,采用文件系统的Journal(日志)的设计思想,实现写请求的原子处理

2,借助于采用非易失性内存做为写缓存,达到原子写操作的目的

有可能,上面原子是直接翻译的,应该是最小写入单元吧。
5#
mwwsky 发表于 2015-11-5 15:08 | 只看该作者
overthink 发表于 2015-11-5 14:37
昨天又在X东剁了一块水区3T,来扩充容量。

为啥不从我这剁。。。京东全新未拆封。。。
6#
nighttob 发表于 2015-11-5 15:25 | 只看该作者
果断被我忽悠又进了一坑
7#
overthink  楼主| 发表于 2015-11-5 15:31 | 只看该作者
本帖最后由 overthink 于 2015-11-5 15:36 编辑
mwwsky 发表于 2015-11-5 15:08
为啥不从我这剁。。。京东全新未拆封。。。

都到手了你才说这话。赶紧的,上RAID6
8#
overthink  楼主| 发表于 2015-11-5 15:35 | 只看该作者
nighttob 发表于 2015-11-5 15:25
果断被我忽悠又进了一坑

一直被忽悠,从IntelS1200BTL上ESXi到RAID6,容我休息一下
9#
红色狂想 发表于 2015-11-5 18:07 | 只看该作者
有木有玩儿磁盘阵列机柜的,给我上一篇评测。
10#
RobinO 发表于 2015-11-5 18:16 | 只看该作者
overthink 发表于 2015-11-5 14:37
昨天又在X东剁了一块水区3T,来扩充容量。

水区3T盘是指啥?
11#
wanghuang95 发表于 2015-11-5 18:38 | 只看该作者
原子只是表征该操作的不可再分割性

评分

参与人数 1绝对值 +1 收起 理由
overthink + 1 很给力!

查看全部评分

12#
batzxcboy 发表于 2015-11-5 19:19 | 只看该作者
请问 删除系统文件,不会影响其他数据吧?

直接取消掉了冗余阵列,难道是因为都是空盘吗?
13#
gudubendan 发表于 2015-11-5 19:46 | 只看该作者
提到软路由,让人想起以前好像有个软件叫海蜘蛛,那个简单傻瓜。。虽然没弄过。
14#
Asuka 发表于 2015-11-5 21:10 | 只看该作者
被忽悠就入坑怎么行,改天忽悠说RAID10才靠谱,肿么办?
15#
fisherwei 发表于 2015-11-5 21:26 | 只看该作者
4月的时候也升级了 raidz2

BTW:5月硬盘价跳水

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
16#
xudaiqing 发表于 2015-11-6 01:37 | 只看该作者
把旧的9211拿出来看了下,连这种hba都有32K*8的nvram,我想9240不可能没有。也就是说直接拿9240组raid就没write hole了。
17#
overthink  楼主| 发表于 2015-11-6 08:12 | 只看该作者
18#
overthink  楼主| 发表于 2015-11-6 08:15 | 只看该作者
batzxcboy 发表于 2015-11-5 19:19
请问 删除系统文件,不会影响其他数据吧?

直接取消掉了冗余阵列,难道是因为都是空盘吗? ...

删除系统文件,文件系统都不存在了,那上面的文件当然也不存在了。

我这么做是因为我把数据全部导出了,可以看做是空盘了
19#
overthink  楼主| 发表于 2015-11-6 08:17 | 只看该作者
Asuka 发表于 2015-11-5 21:10
被忽悠就入坑怎么行,改天忽悠说RAID10才靠谱,肿么办?

那就改RAID10,再发一篇帖
20#
overthink  楼主| 发表于 2015-11-6 08:19 | 只看该作者
fisherwei 发表于 2015-11-5 21:26
4月的时候也升级了 raidz2

BTW:5月硬盘价跳水

RAIDZ很吃内存,由于还要省点内存开其它虚拟机用,没敢上RAIDZ
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部