内存容量对ZFS文件重要么？

菜鸟一个，组一台存档类型服务器，看了些FreeNAS等支持ZFS文件系统的介绍，很多概念不完全理解，目前有如下问题：1，不要求手机端APP,定期把常开的群晖数据同步到存档服务器，把隔离网环境中的工作数据使用移动硬盘的方式导入存档服务器；
2.自己照片很少，主要是小孩的照片、视频。问题是于很多此类文件分散存在家人的手机中，使用各自手机上APP将手机照片导入NAS之后存在同样照片、视频有重复的问题，群晖文件的文件去重时使用哪种验证方式？实际使用效果如何？
3.ZFS文件系统的硬件配置有什么要求：比如开启巡检存储池数据，同样容量存储池巡检完成时间与CPU、内存容量是否有关？它的文件系统去重功能，需要1T数据要求1G内存容量对应1G内存么？

4.在同一阵列卡连接的所有硬盘组RAID-Z,是否有要求硬盘必须全是SAS硬盘或SATA硬盘？不能两种硬盘混用？
5、使用12块硬盘组成一个存储池，使用RAID-Z哪个级别合适？
6.在网上看到些说法是freenas系统下的ZFS最好使用ECC内存以避免出错，这种说法有依据吗？
7.RAIDZ扩容看了一些资料，我的理解是必须增加与原有存储池同等数量、容量的硬盘或者依次替换原有硬盘，尤其对于RAID-Z2/Z3来说更需要消耗更多数量硬盘，比如原来四盘组RAID-Z1,可用容量为3盘；扩容需要4块同等容量的硬盘，并且增加的可用容量仅为3盘，比直接8盘组RAID-Z1可用容量为7盘要多消耗一块硬盘，那直接8盘组RAID-Z2直与前面扩容方案有什么区别？对于家庭用户根据数据量增长遂年购买硬盘的习惯而言实在不友好，更适合企业一次性购买组建。我这样理解正确么？
8.ZFS文件系统组建RAID-Z2，如果硬盘完好，服务器其它硬件比如CPU、9211-8I通道卡、主板等损坏需要更新型号硬件时，原有RAID-Z2数据如何无损接入新硬件平台上？
问题的来源，从硬件上来说，对于我而言巡检存储池数据是首位，文件去重是第二位，如果需要1T数据要求1G内存容量对应1G内存的话，8盘24T的存储池需要8G*4=32G内存，这个组建成本不低，更何况ECC内存价格更高，所以前面帖子里考虑了使用DELL R510二手服务器，在盘位和内存容量上容易满足上面要求，但二手服务器的摆放位置的确是个问题（原想放单位机房，结果机柜深度不够）

菜鸟不要玩RAID，更不要玩软RAID

1 没搞懂你的问题，是要全自动、半自动还是手动
2 不知道
3 不开去重就是atom级别CPU就行，开了去重就看实时数据流量；没有高性能和去重需要，保底4G足够，什么都想要那就是硬盘总容量/1000起步。ZFS是block级别的去重。重复数据比率超过2.0才有开去重的意义。
4 软RAID不挑硬盘，用一般的话说就是盘有多烂都没关系。
5 RAID-Z2起步，他们都想直接把RAID-Z1给删掉了。
6 存储系统不带ECC的那是存数据还是毁数据？ZFS的内存读写压力很大。
7 RAID-Z无法线性扩容，只能靠替换更大的硬盘，或者增加一组span的方式扩容（相当于4盘RAID5变成8盘RAID50）。
8 阵列信息在OS里面和硬盘里面都有，但如果真掉了那想恢复是很困难了，毕竟这玩意的strip不是固定的。

我没搞懂你的“问题的来源”是什么
作为也接触过一些好东西的人，可以说，不是什么东西跟pool扯上都是高大上的。

谢谢版主的解答，还是考虑上软件RAID，不过在纯菜鸟进步前，整软RAID一个当试验品，不存重要数据。不实际使用，终究很多东西靠猜。
1.全自动同步前端群晖里的文件，隔离网的文件只能从隔离网拷入移动硬盘，先从自己手动操作开始学起吧。
8.我没说明白，我的意思是打个比方我使用freenas系统安装在U盘上，本身OS和硬盘是正常工作状态，只是由于是二手服务器，因为一些原因，主板等其它配件坏了，找不到同型号配件替换，更换了主板、CPU后，原有RAIDZ陈列是否能完整迁移到新型号配件上（假定网卡型号都与原来不相同，但也是服务器常用网卡）这个问题是看了原来浴室的帖子，原有阵列卡损坏后为了恢复陈列重新买了一块同型号陈列卡才把数据恢复。

问题的来源是看到论坛不少帖子，无论是群晖的SHR、还是RAID5
群晖ds416 NAS突然挂盘.4个3T组SHR.掉2个盘
好无聊啊，发一个raid5多盘错误
上面两种陈列的问题，不是不想用硬RAID，我估计版主所说支持Patrol Read和Consistency Check（我在1楼描述不准确）的阵列卡价格不低，得几千块吧？对于一个新手买这个当入门练手，有些贵了，还是钱的问题，所以考虑使用软RIAD。

版主，他跟我一样迷茫，我现在准备用储存池，数据还没拷完，群晖的同步速度 ，哎。减少我对raid不懂的依赖。以及利用原有设备。其实还是那句话，多备份

软RAID的阵列信息在OS和硬盘上面，跟你主板网卡啥的没关系
只是提醒你，软RAID如果挂了，很难修复

入门选择LSI 9260在大淘宝也就几百，OEM拆机的跟白送差不多了

在我5年前搭存储系统的时候就考虑过用软的还是硬的，结果发现不论是价格还是生态，硬的都更友好
现在依然是

玩过一些网络和存储，有点相应概念和经验，也试着来回答一下LZ
1、可以用群晖上的备份功能通过网络备份到存档服务器，如果对“隔离”概念要求很高，可以在隔离网的网关上部署防火墙并配置相应策略，如果用FreeNAS，可以考虑用它的虚拟机功能，在里面部署PFSense或类似的软件防火墙完成
2、群晖不懂，但是根据其它设备上的一些经验，对于照片这种量级数据，去重意义不大
3、完全赞同版主意见
4、无要求，可以混用，但是根据实操，不同盘之间的参数（连续读写，寻道时间等）最好不要偏差太多
5、Z2起，12颗盘强烈不推荐Z1
6、能有条件上ECC就上ECC，不过如果只是不经常开机的存档服务器，那么在内存，主板都是正牌大厂的产品情况下，我个人认为普通内存也能接受
7、我自己刚把自己的Z1阵列，4颗3T盘升级到6T盘，总容量从10.8T变成21.8T，供参考
8、只要盘不坏，基本不用担心原阵列接入新系统的问题，这两天也是折腾，把盘从SAS卡接到南桥SATA再换到新的SAS卡，没有出现阵列不能识别的情况

http://bbs.pceva.com.cn/thread-142966-1-1.html，12楼，是我在别的坛友帖子下的回帖，供参考

zfs 文件系统跟你的主板 陈列卡 没关联 只要 你的新系统(nas系统)支持zfs   把硬盘移动过去就是了...
硬盘多于4个 最好用raid z2 比较好
可以参考下我的帖子..
http://bbs.pceva.com.cn/thread-143062-1-1.html

FreeNAS 的话，只要config backup和HDD硬盘还在，可以直接还原。也可以直接 import ZFS。

nighttob 发表于 2018-9-2 09:22
软RAID的阵列信息在OS和硬盘上面，跟你主板网卡啥的没关系
只是提醒你，软RAID如果挂了，很难修复

RAIDZ2还好吧，掉一块盘就换感觉没什么问题。
真的坏3块盘，RAIDZ2和RAID6都没得修啊。

办公室的FreeNAS是另外一个同事配置的。

他的原话： 必须ECC内存，最小16GB，或者按1TB/1GB内存配置

16TB以下阵列，内存最小16GB；16TB以上阵列，按1TB/1GB配置内存。

至于楼主的其他问题，我也不懂。。。。

ECC的问题要分两半来看

一 是 atom 奔腾 赛扬 i3 e3 移动版i5 i7 这类cpu （只讨论支持ECC的cpu，所以没有放桌面版i5、i7） 最大内存容量为32g或64g的 ， 这个时候上4条ECC内存比不上ECC多投资有限，四条8G才多花500元 付出很少，得到的稳定性很多
二 是E5  E7cpu   ， 这类cpu你也只能上ECC 或者 RECC内存 ， 而且大部分都是RECC内存， 不存在上不上ECC的选择题。

nighttob 发表于 2018-9-1 23:32
菜鸟不要玩RAID，更不要玩软RAID

1 没搞懂你的问题，是要全自动、半自动还是手动

至今没有文件级别的去重方案

az6338890 发表于 2018-9-3 22:16
至今没有文件级别的去重方案

网盘都是文件级别的去重方案  然而这种东西是不能挂载的

凡是不会把 raid5/6或zfs说成是备份的 都不算菜鸟了  都能玩
然而折腾无止境，尽量一步到位别添添改改交学费

ZFS需要预留至少20%或者更多可用空间才能保证性能，再算上1T/1GB内存配比，便宜的E5配DDR3 RECC内存，硬盘规模低于8块以下都很亏。另外就是部署方式，裸机直接装freenas或者ubuntu ZoL，还是虚拟化部署，或者后期有需要再在存储系统上跑虚拟，bhyve或者kvm。考虑到时间投入，最后纠结着纠结着我上了相对便宜的SAS 12G硬件阵列卡。

doymll 发表于 2018-9-2 07:01
版主，他跟我一样迷茫，我现在准备用储存池，数据还没拷完，群晖的同步速度 ，哎。减少我对raid不懂的依赖 ...

是迷茫了，没基础就瞎猜了。存储池你用镜像还是？盘位多了不好管理吧？

nighttob 发表于 2018-9-2 09:22
软RAID的阵列信息在OS和硬盘上面，跟你主板网卡啥的没关系
只是提醒你，软RAID如果挂了，很难修复

9260-8i？这张卡支持Patrol Read和Consistency Check吗？dell   h700之类oem能刷回lsi的官方固件吗？阵列卡内存1G和512M写性能差异大吗？

杰迪武士 发表于 2018-9-2 09:53
玩过一些网络和存储，有点相应概念和经验，也试着来回答一下LZ
1、可以用群晖上的备份功能通过网络备份到存 ...

谢谢！隔离网只能用移动硬盘拷入存档服务器。更换硬盘法扩容，每块硬盘花了多长时间？

li2921578 发表于 2018-9-2 12:39
zfs 文件系统跟你的主板 陈列卡 没关联 只要 你的新系统(nas系统)支持zfs   把硬盘移动过去就是了...
硬盘 ...

移动时盘位顺序要原来的一致么？

Mufasa 发表于 2018-9-2 22:02
办公室的FreeNAS是另外一个同事配置的。

他的原话： 必须ECC内存，最小16GB，或者按1TB/1GB内存配置

谢谢狮大，考虑16G起吧。