ESXi家用服务器搭建：家用NAS搭建篇
本帖最后由 overthink 于 2014-12-23 14:20 编辑ESXi家用服务器搭建：家用NAS搭建篇
上篇使用IntelS1200BTL+E3 1230V2平台使用ESXi5.5搭建了ROS软路由，ESXi家用服务器搭建：ROS软路由篇，下面就是把NAS也整合进去了。
PS：本文里的截图为测试时的截图，有些图是后补的，硬件及软件配置及显示会有出入。设置方法是一样的。搭建NAS时，请将重要的个人数据资料备份。目前通过6个多月的使用，暂无异常，但是还请搭建时小心谨慎，本人不对由此造成的数据损失负责。
NAS方案：
由于没有购置HBA卡，就先用主板上带的SATA接口扩展，添加三块3T硬盘，在ESXi时面做一下裸设备映射（RDM），得到虚拟磁盘文件，然后添加到虚拟机的NAS系统里面做软RAID5，如果以后扩展接口不够感觉可以再添加一块HBA卡，扩展接口。NAS系统选择OpenMediaVault，这个设置比FreeNAS, NAS4Free要简单。FreeNAS官方不建议使用虚拟平台使用FreeNAS搭建NAS。所以还是决定使用OpenMediaVault了。
NAS虚拟机的搭建：
使用VMwarevSphere Client连接到ESXi上，添加虚拟机：CPU分配两个核心，内存分配1G，磁盘空间分配2G用来安装OpenMediaVault。NAS虚拟机的硬件配置可以根据需求，随时更改。
下面是用VMware vSphere Client登录ESXi创建NAS虚拟机的截图
网络适配器安装时建议选E1000，等安装完成后建议添加一个vmxnet3（测试正常后可把E1000删除），vmxnet3是10Gbps的虚拟网卡，这样NAS的出口带宽是10Gbps。在ESXi内部的所有虚拟机上访问NAS，网络带宽不是瓶颈了。我这vmxnet3添加没有安装驱动就正常运行，应该是OpenMediaVault自带了驱动。但是在系统安装时不认vmxnet3，所以要用E1000来完成系统安装。
创建OpenMediaVault系统盘
空间大小设置为2G就够用，上图为6G
其余的是默认设置，完成之后启动虚拟机。
肯定是无法启动的，因为系统还没有安装{:6_247:}
点下虚拟机的光驱符号，选好OpenMediaVault的ISO文件，从ISO启动。ISO文件下载地址：http://sourceforge.net/projects/openmediavault/files/
选Install
默认
这儿设置的密码是root的密码，可以用root及这个密码通过SSH登录OVM进行设置，要注意，这个不是WEB登录的用户名和密码。
默认就好
系统安装中
OpenMediaVault是基于Debian的，需要配置一下apt源，选中国
随便选，只要速度快的就好。
如果没有代理，请留空。
这儿是通过ROS的DHCP分配的IP地址，已经在更新系统中
安装完成，可以启动了
启动成功，192.168.1.190是通过DHCP获得的IP地址，可以修改。如果要通过CLI方式登录，请输入root + 密码。如果想通过web登录，请在浏览器里地址栏输入192.168.1.190 用户名：admin 密码：openmediavault
我们先关机，把硬盘接服务器上。启动ESXi主机
用VMware vSphere Client登录上，在配置存储里面可以看到新添加的三个3T硬盘。
接下来是做裸设备映射（RDM），使用SecureCRT通过SSH登录ESXi，运行命令。
命令正常运行。
到数据存储里面查看，可以看到生成了3个3T的虚拟磁盘文件。
把这三个3T的虚拟磁盘文件都添加到OpenMediaVault虚拟机中。
添加完毕，整个虚拟机的配置如下
启动虚拟机并使用web登录到OpenMediaVault上去。
在存储器，物理磁盘页面，可以看到加入的三个HDD。
选中SMART，可以开启SMART监测。
硬盘温度，等SMART信息都可以看到。
接下来是创建RAID5，选中RAID管理，点创建，起一个名称，级别选RAID5 ，并把三个设备加入到RAID5中，点保存。
点Yes开始创建。
创建RAID5中，时间比较漫长，需要慢慢等。
创建完成，信息如上。
然后就是创建文件系统了。
OpenMediaVault文件系统支持EXT3、EXT4、XFS、JFS，有关这些文件系统的性能及简单介绍可以参见:http://blog.sina.com.cn/s/blog_573860a90101032h.html
● Ext3：为Ext2个改良版，所以Ext2可以直接升级成为Ext3而不必重新格式化，这也可以让旧的Ext2系统更加稳定。而主要和Ext2的差別是增加了日誌系统(metadata)，所以在不正常开关机后，可以迅速使系统恢复。而因为它与旧有的文件系统兼容，因此很多发行版都缺省使用Ext3。但是在实际测试上，它的硬盘使用率其实不佳，大概只有真正空间的93％会被使用到，至於其它性能测试表现则为中等。在格式化与创建文件系统的时间也是其它文件系统的数十倍。
● ReiserFS：：採用日誌型的文件系统，为Hans Reiser所创，因此以他的名字来命名。技术上使用的是B*-tree为基础的文件系统，其特色为从处理大型文件到眾多小文件都可以用很高的效率处理。实务上ReiserFS 在处理文件小於1k的小文件时，效率甚至可以比Ext3快約10倍，所以ReiserFS专长是在处理很多小文件。而在一般操作上，它的性能表现也有中上的程度。
● XFS：不错的表现。
● JFS：：为全球最大计算机供应商IBM为AIX系列设计的日誌型文件系统，技术上使用的是B+-tree为基础的文件系统和ReiserFS使用 B*-tree不同。IBM AIX服务器在很多金融机构上使用，所以稳定性是沒话說的。而它最重要的特色是在处理文件I/O的时候是所有文件系统里面最不佔CPU资源的，也就是 CPU使用率最低。而且在这樣节省使用CPU的情況下，它的效率表现还有中上以上的程度。
虽然Ext3性能不好(在日誌型文件系统中效率上算是最糟糕的) ，那为何还有那麼多人使用?那是因为当时Ext3可以直接从Ext2升级，而不需要先备份数据，然后格式化后再把文件复制回去，所以使用人数最多。但这也不能全然怪它，因为它为了和Ext2兼容，所以背负了很多的历史包袱。若是以性能为考虑，则可以选择ReiserFS或XFS。若是系统资源不多，要使用最低的CPU使用率，那麼可以选择JFS，因为它有著最好的性能资源比。
大家可以根据自己的需求选择合适的文件系统。
点YES，然后慢慢等
文件系统创建成功。
然后使用前需要挂载一下
挂载成功，容量，可用，已使用都可见了。
然后到服务选项，SMB/CIFS，开启
再到共享里面添加一下共享文件夹。
截图上是把我们做的RAID5的根目录做为共享文件。
现在就可以在网上邻居里看到NAS主机了，双击，进入，可以看到，我们需要用户名，密码才可以访问{:6_247:}。
怎么办呢？我们需要设置一下ACL，给NAS添加一个用户，使这个用户有访问权限。
在访问权限管理，用户页面，添加一个用户。
再到共享文件夹里面，把nasuser授予读写权限就好。
把读写打钩
输入nasuser的密码，进行登录。
登录成功，可以看到共享文件夹了。
新建文件及目录也都没有问题。
那么什么是ACL呢？
ACL是Linux系统用来管理文件系统权限的方法，翻译过来叫文件访问控制列表，ACL是Access Control List的缩写，主要的目的是在提供Linux传统的owner,group,others的read,write,execute权限之外的局部权限设定。ACL可以针对单个用户，单个文件或目录来进行r,w,x的权限设定，特别适用于需要特殊权限的使用情况。
ACL主要针对用户（user）、用户组（group）、以及掩码（mask）方面来控制权限。
简单地来说，ACL就是可以设置特定用户或用户组对于一个文件/目录的操作权限。
而在windows系统上，没有这个ACL，ACL是类Unix（Unix-like）操作系统权限的额外支持项目，因此要使用ACL必须要有文件系统的支持才行。主要包括ReiserFS, EXT2/EXT3/ext4, JFS, XFS等文件系统。
我们可以在NAS上建立多个目录，比如：FTP、Video、Picture、、Download、Document、
并建立多个用户： HTPC、FTP、nasuser、Download等等。通过ACL，赋予用户或者用户组各个目录的访问及读写权限。
例如：nasuser做为超级用户，授权可以访问及读写根目录/、HTPC用户可以授权访问及读写Video目录、FTP用户可以授权访问及读写FTP目录。Download用户可以授权访问及读写Download目录。
我们把目录做一下网络映射，以后使用时就和本地硬盘一样方便了。
简单使用NAS Performance tester通过千兆局域网测试一下NAS性能：
写入能跑满千兆，但是读取很奇怪，只有50M多点，原因不明{:6_194:}，后来换了0.5.48版本，就正常了。应该是0.5.0.24版本的问题了。
下面是0.5.48版本通过千兆网的测试速度，读写都正常了。
移动15181个文件，1.13TB，持续写入速度保持100MB+CPU使用率为40%左右。
下面讲一下扩展OpenMediaVaultRAID5的存储空间：
首先关机，把新添加的HDD接好，启动，在ESXi里面做RDM。
把虚拟磁盘文件添加到OpenMediaVault虚拟机里。
启动OpenMediaVault，用web登录进去，物理磁盘页面应该能看到新添加的硬盘。
移动到RAID管理，点扩充，把新添加的硬盘加入到RAID5里
可以在扩充RAID后调整文件系统大小。
点确定后开始扩充
扩充进行中
阵列详情，是从三盘扩展到四盘。
速度还是比较慢的{:6_262:}
完成之后容量可以看到是8.19TB，之后就可以调整文件系统大小了
点YES，等调整完毕后，我们可用的空间容量就是8.19TB了。
最后就是设置一下NAS虚拟机随ESXi自动启动。
然后在要使用NAS存储的机器上映射一下网络驱动器，这样，就和使用本地硬盘一样方便了。
此外，OpenMediaVault还有许多插件可用。FTP、WWW、iSCSI Target、脱机下载等等，这些根据需要开启吧。这里就不多谈了。
还有一个问题，如果我们在外面想访问家里的NAS，那要怎么办呢？
简单说一下解决方案：还记得上篇文章我们搭建的ROS么？用ROS做一下DDNS，再搭建一个VPN Server，通过VPN拨号到ROS上，通过VPN通道访问，就和使用局域网访问NAS一样方便了。
沙发占了 OMV的设置确实比FreeNAS简单多了
不过不了解ACL的依然会折腾半天 OT啊，你这套9T系统是没有RAID保护的？挂盘之后是掉一盘数据还是所以数据GG？ 本帖最后由 overthink 于 2014-12-28 18:07 编辑
einstein86 发表于 2014-12-28 17:40
OT啊，你这套9T系统是没有RAID保护的？挂盘之后是掉一盘数据还是所以数据GG？ ...
是用的RAID5,可以挂一块盘。4块3T硬盘，RAID5，可用空间9T
overthink 发表于 2014-12-28 18:06
是用的RAID5,可以挂一块盘。4块3T硬盘，RAID5，可用空间9T
哦，那没问题。软RAID5，CPU开销40%看起来还不错。
einstein86 发表于 2014-12-28 18:23
哦，那没问题。软RAID5，CPU开销40%看起来还不错。
这个是跑千兆网的CPU占用，如果用的是虚拟机内部的万兆网，写入CPU占用是80%左右，压力要大些，（E3 1230 V2，只分配单核心给OMV）
本帖最后由 einstein86 于 2014-12-28 18:53 编辑
overthink 发表于 2014-12-28 18:38
这个是跑千兆网的CPU占用，如果用的是虚拟机内部的万兆网，写入CPU占用是80%左右，压力要大些，（E3 123 ...
虚拟万兆啊，占用率也不错。只是啥时候内网能真的跑物理万兆，就棒了。千兆对于SSD而言速度已经捉鸡，4条千兆聚合都一样。有了NAS这样的东西，手里的移动介质几乎就被自然淘汰了。直接内网拷贝又方便又迅速。 einstein86 发表于 2014-12-28 18:52
虚拟万兆啊，占用率也不错。只是啥时候内网能真的跑物理万兆，就棒了。千兆对于SSD而言速度已经捉鸡，4条 ...
家用物理万兆还有一段距离，主要是成本比较高，千兆网的成本就小很多。
overthink 发表于 2014-12-28 18:59
家用物理万兆还有一段距离，主要是成本比较高，千兆网的成本就小很多。
...
设备太大，价格太高。还有，板载网卡都是千兆的。单张万兆网卡太贵了。
不过今后是大数据时代，高带宽是必须的。只是，是继续铜缆走万兆还是变成光纤，是个问题。
用ROS做VPN server的确是OK
但如果不在乎安全性的话，做个端口映射应该就可以允许外部访问了吧 Asuka 发表于 2014-12-28 19:53
用ROS做VPN server的确是OK
但如果不在乎安全性的话，做个端口映射应该就可以允许外部访问了吧 ...
SMB共享不清楚怎么映射出去， FTP，web config 端口可以映射出去，这个没问题。
overthink 发表于 2014-12-28 20:01
SMB共享不清楚怎么映射出去， FTP，web config 端口可以映射出去，这个没问题。
...
我记得没错的话是TCP协议，port 445吧
还真没试过，不知道行不行。
已拜读
这是属于虚拟机跑的软raid吧？
很好奇扩容的时候，到底用了多久的时间呀？这段时间里原raid的业务是一直在跑吗？ Asuka 发表于 2014-12-28 20:50
我记得没错的话是TCP协议，port 445吧
还真没试过，不知道行不行。
上传带宽太捉急了，用L2TP VPN开个远程桌面都卡的不行…… coolerlan 发表于 2014-12-28 21:33
已拜读
这是属于虚拟机跑的软raid吧？
一直在线，不用下线，时间，看容量了，我用了十几个小时吧。
nighttob 发表于 2014-12-28 21:40
上传带宽太捉急了，用L2TP VPN开个远程桌面都卡的不行……
嗯这个真是没错 ╮(╯▽╰)╭
虽然看不懂，不过很牛的样子，以前用VM虚拟机安装过海蜘蛛软路由，，
ESXI好是好，不过太封闭了
我还是倾向windows，MSM管理RAID卡，做好训读和VD校验才能确保数据安全
好文章，虽然伦家看不懂，但还是收藏备用了{:1_443:}