我的家用服务器挖坑之路--拓扑图、BMC相关、EXSI相关

索引链接

最近一段时间因为工作和装修的事情忙的焦头烂额，断断续续的总算是写完了，各位看官请见谅
水平有限，如有问题欢迎斧正！

本帖主要内容：
1.拓扑
2.BMC配置
3.EXSI部署
4.主要虚拟机的配置


一：拓扑

设想最终完成体是下面这个样子：


电信猫改桥接，通过直通千兆网口接入到主路由中，诸多虚拟机在exsi中均简单地接入到同一个虚拟交换机，主板自带的两个万兆口接万兆网管交换机并且配置聚合，自己的电脑也用两个万兆口连接到万兆交换机并且配置聚合，剩下的电脑电视AP啥的就都接万兆交换机即可。一般提到的聚合如LACP这种只能提高多会话（比如多个tcp连接）时候的总带宽而并不能提升单会话（比如就一个tcp连接）带宽，据说cisio有协议可以做到真正的1+1=2，将来再研究吧。  另外SMB3.0版本以后有multi-channel可以极方便地实现数据在NAS（如server2016/群晖）和客户机(如win7以后)之间传输时候同时用多条线路来提升读写（自带explorer复制/粘贴）速度，也是一个选择。

因为最近实在是没血了，万兆交换机也没买，聚合就先搁置一下后面再说。目前的拓扑是下面这样：




二：BMC介绍以及相关配置
超微主板的Baseboard Management Controller (BMC) 可以极大地方便对服务器的维护。在bios中找到IPMI选项，将管理IP设置为静态，这里我设置的是192.168.1.200：


此后便可以通过主板上的管理口或者是板载网卡口来进行管理了，在局域网中的某一台电脑上，通过浏览器输入https://192.168.1.200，即可打开管理登陆窗口：


个人觉得比较能用得上的功能有：
1.远程开/关/重启机器：


2.远程随时查看硬件状态：


3.不需要接显示器通过远程控制台随时查看当前输出画面并且可以远程操作（改bios方便多了）：


4.挂载本地ios为虚拟设备，方便安装系统，这个需要预先安装java运行环境：



挂载完成后在bios的启动菜单中就可以看到挂载上去的虚拟的设备。

三：EXSI的部署
1. 安装
安装exsi跟安装普通系统没什么两样。由于我exsi是准备部署到u盘里面去的，所以为求方便我把这个u盘插到自己电脑上，然后开vmware workstation，新建一个虚拟机并且里面的虚拟光驱设置为exsi的安装镜像，u盘连接到虚拟机以后在虚拟机里面将exsi安装到u盘里面去的。 安装完以后u盘直接插到服务器主板上bios设置好默认启动就算是完成了。

vmware workstation里面创建一个虚拟机，过程中映像文件选择下载好的exsi安装镜像（截图是exsi6.7的安装镜像，实际后来重新部署的6.5具体原因后面说）：


在虚拟机开机后将u盘连接到此虚拟机：


虚拟机里面执行安装：


安装过程中选择u盘为安装磁盘：

后面就按照提示一路安装即可。安装完成后将u盘插到服务器主板上，BIOS里面设置为默认启动，EXSI的安装部分就算是完成了。


2. 设置
设置EXSI管理IP地址：
启动，EXSI加载完毕以后，在加载完成的界面按F2，输入密码回车：


键盘上下按键选择设置管理网络，回车：


选择IPv4设置，回车：


选择第三项设置静态IP，按空格选取，然后在下方输入静态ip地址，我这里设置的是192.168.1.201，输入完毕回车：


然后选择DNS设置，我这里设置的是将来软路由的网关地址，输入完毕回车：


然后这个界面点ESC返回，会提示是否保持更改并且重启管理网络，键盘点Y：


到此IP地址就设置完毕了，在通过浏览器管理EXSI之前，确保自己电脑的IP跟EXSI的IP在同一网段，为方便管理，我自己的电脑也设成了静态IP。
自此，我们就可以通过在浏览器输入https://192.168.1.201来登陆到EXSI的管理页面了。

设置数据存储：
第一次进入EXSI时要先设置下数据存储，在存储里里面点击新建数据存储，按照向导将P3600作为数据存储。




启用NTP服务：
点击管理，在系统页里面点击时间和日期，点击编辑设置，选择启用NTP客户端，策略选择随主机启动和停止，下面填入一个或者多个NTP服务器，点击保存。我这里用的是阿里云的ntp服务器。



启用SSH：
接下来的一些配置需要通过SSH来连接到EXSI进行操作，首先在EXSI中启用SSH：

而后windows上可以使用putty进行SSH连接：

如遇到安全警告选择Yes，用户名输入root，回车，而后输入密码，回车，即连接完毕：

EXSI在每次重启后SSH默认都是禁用的，如果要连接的话得再次通过浏览器启用SSH。


配置c236磁盘控制器直通：
c236的磁盘控制器是无法直接配置直通的，需要先修改EXSI的配置文件：通过SSH登陆到EXSI，vi打开/etc/vmware/passthru.map文件，末尾添加：
# INTEL Sunrise Point-H AHCI Controller
8086 a102 d3d0 false保存，重启EXSI即可在PCI设备页面配置直通：

配置完重新引导主机即可生效。
需要说明的是EXSI6.7即使修改配置文件也还是不能直通，这就是为什么我后来回退使用6.5的原因。


安装板载Intel x550网卡的驱动：
EXSI6.5需要自行安装板载x550的驱动（6.7已集成）。从vmware官网下载到zip驱动包后，解压缩能得到一个VIB文件，通过数据存储浏览器上传到EXSI中：

然后SSH中执行命令： esxcli software vib install -v 驱动vib文件路径 即可，命令执行完毕重启，就可以在物理网卡列表中看到x550正常显示出来了。


配置I350网卡直通：
跟配置磁盘控制器直通类似，在PCI设备列表里面找到i350网卡切换直通即可，由于我这里有4个网口所以在列表中会看到有4个i350设备，我将其中的3个配置为了直通。




配置虚拟交换机：
因为网络拓扑非常简单，所以虚拟机交换机这块没什么特别需要做的。只需要把混杂模式和伪传输打开即可。


四：主要虚拟机的设置
只有虚拟机相关配置，具体的部署细节下个帖子再写。

主路由：
主路由我想选择一个性能不错，然后qos强的软路由，panabit据说qos非常好，但是需要授权付费，所以暂时选择了免费的爱快。
点击虚拟机 -- 创建/注册虚拟机 -- 输入虚拟机名字 -- 操作系统系列选择Linux客户机 ，操作系统版本选择其他2.6.x Linux（64位）
按照提示一直下一步到自定义设置这一步的时候，点击添加其他设备 -- PCI设备，将直通的网卡选择进来。因为我直通了3个i350设备，我这里选择了3次，然后通过下拉框设置好直通的网卡：


需要注意的是如果虚拟机有PCI直通设备，内存里面需要勾选预留所有客户机内存（全部锁定）：

然后cpu我设置了2个，内存2G，硬盘设置了8G，而后点击下一步，完成即可。


旁路：
旁路主要用openwrt来实现科学上网，用相同的流程来创建虚拟机，自定义设置页面也不需要什么特别的设置，网络只要接入虚拟交换机即可。


NAS：
在自定义设置中选择添加其他设备 -- PCI设备，将磁盘控制器添加到虚拟机，同样记得在内存选项中勾选预留所有客户机内存（全部锁定）。



其他虚拟机：
流程、配置都大同小异，主要是cpu数量、内存大小、硬盘的大小的设置，这些按照实际需求配置即可，这些设定在后面的使用中也随时可以更改。




设置虚拟机自动启动/关闭：
在每一次重启EXSI后我们肯定希望诸多虚拟机能自动投入工作，比如路由器要及时开起来，NAS、下载机这些也要投入工作；而如果遇到情况需要关闭/重启EXSI，我们肯定也希望虚拟机可以执行正常的关机而不是直接关闭电源;这些都可以通过设置虚拟机自动启动功能来实现：
在这里的已启用选择是，功能的总开关就打开了，其他的几个选项比如启动延迟、停止延迟这些，是针对具体某一台虚拟机在启用此功能后的默认设定，这些设定可以被另外一个地方单独针对虚拟机的设置给覆盖掉。

接下来要选择需要自动启动的虚拟机，点击启用即可：


如果有多台需要自动启动的虚拟机，则可以通过点击更早启动和更晚启动来调节启动顺序，在EXSI关闭的时候，会按照反向的顺序关闭虚拟机：


选择一台虚拟机点击配置，则可以设定这些选项来覆盖前面提到的默认值：



解释下几个选项的具体的意思：
启动延迟：在本虚拟机执行启动动作后，执行下一台虚拟机启动动作的等待时间。
停止延迟：在本虚拟机执行关机动作后，执行下一台虚拟机关闭动作的等待时间。
停止操作：关闭本虚拟机的具体执行方式，有关闭电源（相当于直接断电）、挂起（相当于休眠）、和关机（相当于执行正常的关机，需要虚拟机中安装vmware tools才行）。
等待检测信号：如果虚拟机有安装vmware tools，则当检测到vmware tools启动后，既开始启动下一台虚拟机（比如某台虚拟机的启动延迟设置了120s，如果不打开这个选项，则这台虚拟机在开始启动后过2分钟，才会执行下一台虚拟机的开机动作；如果打开这个选项则检测到vmware tool启动后，就马上执行下一台虚拟机的开机动作）。

具体举些例子，比如我现在这些虚拟机做了如下设定：

具体行为是：
EXSI主机启动后：首先启动iKuai路由器；10s后，启动NAS虚拟机；30s后或者检测到NAS虚拟机中vmware tools已启动，启动Downloader下载机；
EXSI主机关闭时：先正常关闭Downloader；在60s后或者在60s内Downloader完成关闭，则正常关闭NAS虚拟机；在60s后或者在60s内NAS完成关闭，则直接断电iKuai路由器。



下一贴详细写主路由和旁路的配置，请期待。

很给力 我也是超微 然后6.7降到6.5, 拆了个移动硬盘盒装个ssd当系统盘, 直通卡重启等待时间实在太久, 现在直通板载sata也够用

whajcf 发表于 2018-10-31 17:36
很给力 我也是超微 然后6.7降到6.5, 拆了个移动硬盘盒装个ssd当系统盘, 直通卡重启等待时间实在太久, 现在 ...

感谢支持

码了，有空慢慢看

不错  楼主买UPS吗  esxi怎么配置断电UPS通知ESXI关机

ahfncj 发表于 2018-10-31 23:51
不错  楼主买UPS吗  esxi怎么配置断电UPS通知ESXI关机

后面应该要买。具体方法请关注后续帖子

哦 老哥 你的想法跟我的一模一樣，我也準備這麼稿

能上几张机器的照片吗？

真是优物呀，撸主钻研的很全面，流口水，先马克一下，慢慢消化。。。

曾经做过类似的环境，不过万兆与否主要还是看大部分设备的硬盘读写速度，因为hdd实在是多，而且需求也大，所以还是搞个千兆。
ups的配置，我用的apc的650bk-i好像坛子里就有教学贴。

丶七夜哥哥 发表于 2018-11-1 21:56
能上几张机器的照片吗？

帖子是一个系列，这是第二帖，你看看第一帖

不记得了 发表于 2018-11-2 08:58
曾经做过类似的环境，不过万兆与否主要还是看大部分设备的硬盘读写速度，因为hdd实在是多，而且需求也大， ...

现在即使是机械硬盘也都超了千兆带宽了，如果组raid的话那千兆更显得瓶颈。
我这个服务器主硬盘读写速度都在2000MB每秒，理论上要大约20Gbps的网络带宽才能给满。

基本上nvme的都是万兆的标准，不过家用都是存照片，录像比较多，现在也没啥时间压265，一次导入就几百G左右，还是hdd实惠点

不记得了 发表于 2018-11-2 09:32
基本上nvme的都是万兆的标准，不过家用都是存照片，录像比较多，现在也没啥时间压265，一次导入就几百G左右 ...

嗯嗯看个人需求

万M的交换机给力。  感觉万M的就不用聚合了。比本地的SATA要快。
有机会我也上万M

overthink 发表于 2018-11-2 16:57
万M的交换机给力。  感觉万M的就不用聚合了。比本地的SATA要快。
有机会我也上万M ...

    两边要都是nvme的ssd的话还是能偶尔用得上的，想想2GB每秒的速度就爽。

终于解禁了

duo_luo 发表于 2018-11-2 18:41
两边要都是nvme的ssd的话还是能偶尔用得上的，想想2GB每秒的速度就爽。
...

10G的交换机型号研究了没？ 我觉得4口就够用，其余走1Gbps

overthink 发表于 2018-11-5 15:49
10G的交换机型号研究了没？ 我觉得4口就够用，其余走1Gbps

价格相对较低的是华硕XG-U2008和网件的GS110EMX，但是只有两个万兆电口。
再就是网件和巴法络都有8个以上万兆电口的交换机，就很贵了。像网件XS712T  12个万兆电口二手的看了下大概四千多。

overthink 发表于 2018-11-5 15:49
10G的交换机型号研究了没？ 我觉得4口就够用，其余走1Gbps

另外QNAP有个QSW-804-4C是四电四光的。