基于ESXi的家用多功能服务器·改二

题目没错，是“改二”。
由于“改一”的成果太少，所以合并一起写了。

原版
http://bbs.pceva.com.cn/thread-96075-1-1.html

下面用类似补丁说明的形式简单说说这二改都干了啥

---

【改一】
2014-12-13

[硬件]
1. 由X25-M G2 80G和sTec s1120 980G替代520 240G，分别作为ESXi系统盘和VMFS存储卷；
2. LSI MegaRAID SAS 9260-8i的插槽由PCI Slot5换到PCI Slot4，sTec s1120插在PCI Slot5；
3. 新购入一张USB扩展卡插在PCI Slot1(PCI)。

[软件]
1. 软路由升级到pfSense 2.1.5；
2. 虚拟机磁盘全部转换为厚置备；
3. 在sTec s1120的VMFS存储卷设立了10GB的主机缓存。

[已知的问题]
1. sTec s1120热启动丢盘；
2. sTec s1120无法由UEFI引导；
3. 无线键鼠收发器插在USB扩展卡上会由于距离太长，使得无线键鼠失灵。

这次升级的主要目的是把接盘的浴室牌sTec PCIe SSD跟服务器合体，如果能直接引导系统的话最好；另外新买了一张USB扩展卡，想直通扩展卡而不再直通USB控制器；还有把ESXi升级到5.5，然后把存储虚拟机的硬件升级到版本10，以支持RDM来的3T硬盘。

结果很骨感，sTec这盘冷启动准备时间超过40秒（给电容充电），接着重启丢盘，关机不彻底断电再启动丢盘，尝试N种方法都无法UEFI引导，Bootloader被浴室刷成了s1122的2.6.28（事后证明这跟前面的问题无关），LED指示灯只有12v_OK的绿灯和掉电报警指示灯在干活，其他如读写活动指示灯都罢工了，当接盘侠果然是有风险的。不过接盘价跟960G的M500一样，还剩3年保修，耐久度顶100个M500，RAW性能至少M500的两倍，PCIe 2.0 x4接口（板子上的SATA快插满了），所以，以能用的评判标准来说，这盘接的还是很值的……

在被浴室牌s1120折腾了半天以后，继续被ESXi折磨。首先每次重启必须彻底关机再开，这是上面说过的。旧有的东西和新买的USB扩展卡直通都没问题，但把无线键鼠的收发器插在USB扩展卡上面，键盘鼠标就是没反应或者丢帧严重。一开始以为这是“直通正常但工作不正常”那类，后来发现是无线距离太远，把键鼠移近点就没事。其实距离也不远，只是桌上放着RT-N16，2.4G时代比这货信号强的无线路由应该是有限的几个，早知道买有线键鼠好不好……

由于新买的USB扩展卡没法用，ESXi 5.5对USB控制器直通又不友好，所以只能换回ESXi 5.0直通USB控制器继续用。

折腾了一天，让爸妈没得玩，只是把s1120跟服务器合体，另外做了10G主机缓存（有效解决了服务器只有8G物理内存的窘境，但极少会用超过8G内存）这点事。依然是上回说过的“在折腾过程中虽然可以学到姿势，但未必能获得快乐”，但能直接在SSD里面划400G作为下载盘，能这么干的人应该也是有限的……所以，这也没啥不好的。

---

【改二】
2015-02-21

[硬件]
1. 由X25-E 32G替代X25-M 80G作为ESXi系统盘；
2. sTec s1120的Bootloader降回2.6.23；
3. sTec s1120的插槽由PCI Slot5(CPU PCIe x4)换到PCI Slot3(PCH PCIe x4)，以解决热启动丢盘的问题。

[软件]
1. 虚拟机系统升级到ESXi 5.5.0 update2，同时vSphere Client也升级到5.5.0 update2；
2. 软路由升级到pfSense 2.2；
3. 新增一个虚拟机(Guest)用来给家里来了熊孩子用；
4. 将Desktop和Guest虚拟机的资源份额调高。


（随着ESXi升级，亮机卡6450也跟着升级了）

[杂项]
1. 用杜邦线把机箱前置USB插针分别延至USB扩展卡插针和主板USB插针上，以解决由于距离导致的无线键鼠失灵问题；
2. 在X25-E的剩余空间里存放部分常用系统镜像，便于给虚拟机装系统。

[已知的问题]
1. 依然无法UEFI引导sTec s1120；
2. 虽然ESXi和vSphere Client都升级到了5.5版，但无法用vSphere Client建立硬件版本大于8的虚拟机，必须用vSphere Web Client。

这次升级的主要目的是尝试解决上次遗留下来的一些问题，当然并不指望能根本上解决；另外就是要把ESXi升级到5.5，并要用上新买的USB扩展卡；还有就是用X25-E把X25-M替换掉。

首先还是先啃s1120。这回要来了适用于它的2.6.23版bootloader和新版的HGST Decive Management。本来我是十分不喜欢刷固件的，但为了尝试下解决问题，还是刷了下去。理论上给bootloader降个级也没啥危险，但bootloader挂了会比FW挂了更蛋疼。按照标准流程，刷bootloader，刷FW，关机断电重启，做SE，一切都好，也都没变样……该掉盘还是掉，该不引导还是不引导，该不亮灯还是不亮。后来联想到PCIe AHCI SSD在CPU PCIe插槽上异常的问题，于是换到PCH那条上去，结果解决了热启动丢盘的问题，另外两项依然无解。虽然由CPU PCIe换到PCH PCIe性能会受一点影响，但重启丢盘显然比这个蛋疼多了，虽然服务器个把月都不会重启。

然后又诞生了一个脑洞大开的想法，既然ESXi可以区分识别物理磁盘上的分区，那么能不能RDM一个分区呢？这样就可以直接RDM一块分区去做下载盘了。结果当然失败了，反馈的错误信息是禁止操作，不过也许还有可以研究的空间。

接下来是前不久脑洞出来的想法：既然从PCI挡板到桌面无线键鼠的距离远，那么可以用USB延长线或者USB HUB解决距离远的问题；正好USB扩展卡上面也有插针，那为什么不利用下机箱前置USB呢？于是买了一板杜邦线，一头公一头母。前置USB是1组2个USB，一个延长插到USB扩展卡上的插针，一个延长插到主板USB的插针。这样一来日常用桌面的时候，无线键鼠收发器插在从USB扩展卡来的那个口上，操作ESXi的时候插到另外那个口上，问题解决，而且完全不影响美观（忘了机箱内部吧）。

解决了USB直通和无线键鼠的问题，升级ESXi 5.5u2也就没什么顾及了。虽然即使最新版vSphere Client也无法创建和管理版本10的虚拟机，但版本8的也足够用了，无非就是3TB以上的硬盘容量会显示错误，无法进行分区级别的操作。想要用版本10的虚拟机还得先装vCenter，然后用vSphere Web Client才行。

还有pfSense升级到2.2，这回内核换成了FreeBSD 10.1，我最关心的就是这回终于有限支持了802.11n，只不过有完善驱动支持支持的还是QCA的无线网卡，而且还得是比较老的型号，所以暂时也不想把无线路由功能整合进服务器了。

再有新建了一个Guest专用虚拟机，基本配置跟现有的Desktop差不多，就是把客户机系统换成win7，虚拟盘给大点（反正980G的SSD呢）。用处就是给有熊孩子来家里串门时候，不再用给Desktop关机、建快照、再开机，而是直接Desktop关机、Guest开机，就行了，略微减少一点操作。

---

关于sTec这盘，可以直接看浴室的测试帖 http://bbs.pceva.com.cn/thread-101718-1-1.html

我既没照相也没再跑分，也就是测试了下虚拟盘的性能

这是在下载盘里先后跑的两次，持续写入的区别很大是“置零”的缘故。因为磁盘策略是厚置备延迟置零，写入新LBA之前要先置零，所以首次写入会比较难看。但毕竟是PCIe 2.0 x4的SSA，一边置零一边写入还可以有100MB/s以上的速度。

vCenter建议用Linux版本的VCSA，部署在ESXi里面就好，安装什么的比WIN版本的简单好多。

Guest专用虚拟机，这个给力，再也不怕熊孩子乱动电脑了

真.折腾......真.折腾......真.折腾......

有个问题要问下，NEC的USB2.0卡  怎么直通的是三个设备？
6：00.0
6：00.1
6：00.2

可以分配给三个虚拟机用？

overthink 发表于 2015-3-11 10:10
有个问题要问下，NEC的USB2.0卡  怎么直通的是三个设备？
6：00.0
6：00.1

分别是三个EHCI控制器，管port0-1, 2-3, 4-5。
我还有一个老的VLI卡，有4个设备，1个EHCI和3个OHCI。但这东西驱动极其诡异，EHCI经常不能激活，所以只有3个OHCI用。

nighttob 发表于 2015-3-11 10:24
分别是三个EHCI控制器，管port0-1, 2-3, 4-5。
我还有一个老的VLI卡，有4个设备，1个EHCI和3个OHCI。但这 ...

明白了，  这三个EHCI直通后，可以分配给三个不同的虚拟机同时使用么？

比如：
EHCI 1 分配给虚拟机1 使用 0 1接口。
EHCI 2 分配给虚拟机2 使用 2 3接口。
EHCI 3 分配给虚拟机3 使用 4 5接口。


老的VLI卡，兼容性问题吧。USB2.0的扩展卡应该是NEC芯片的省心些。

我目前在用USB3.0的扩展卡做直通，只有一个xHCI，还要外接电源才可以用，比较蛋疼。

overthink 发表于 2015-3-11 10:57
明白了，  这三个EHCI直通后，可以分配给三个不同的虚拟机同时使用么？

比如：

理论上行，但我没试过。

3.0的卡就看设计了，自带DC-DC的就不用外接，否则就外接。

nighttob 发表于 2015-3-11 11:15
理论上行，但我没试过。

3.0的卡就看设计了，自带DC-DC的就不用外接，否则就外接。

好的，理论指导实践。我那个USB3.0的扩展卡要接电源线，比较不爽，准备换个PCI口USB2.0的扩展卡。等抽空我试下

overthink 发表于 2015-3-11 11:29
好的，理论指导实践。我那个USB3.0的扩展卡要接电源线，比较不爽，准备换个PCI口USB2.0的扩展卡 ...

你打算这么搞多用户么？

其实这样的话我觉得买个消费级板子，然后插俩3.0的扩展卡更合适。

nighttob 发表于 2015-3-11 11:15
理论上行，但我没试过。

3.0的卡就看设计了，自带DC-DC的就不用外接，否则就外接。

不行，esxi直通的是pci通道，你这3个控制器是同一个pci下的，所以只能给一个guest

chenke_ikari 发表于 2015-3-11 17:28
不行，esxi直通的是pci通道，你这3个控制器是同一个pci下的，所以只能给一个guest ...

你确定？

那么南桥集成的USB、声卡和AHCI控制器为什么能直通？

chenke_ikari 发表于 2015-3-11 17:28
不行，esxi直通的是pci通道，你这3个控制器是同一个pci下的，所以只能给一个guest ...

买了张NEC的5口扩展卡，等到了我试一下。


我直通过INTEL 82576   I350T4网卡，上面的多个接口可以分别直通，分配给不同的虚拟机使用，应该是这两款PCIE的有针对虚拟化的设计。

PCI的82546网卡两个接口必须一起直通，没试过能不能分配给不同的虚拟机。这次拿USB2.0的扩展卡试一下。

overthink 发表于 2015-3-12 10:42
买了张NEC的5口扩展卡，等到了我试一下。

你那么着急干啥……
我周末有空重启下虚拟机就能试的
虽然2.0的卡也没几个钱

nighttob 发表于 2015-3-12 11:00
你那么着急干啥……
我周末有空重启下虚拟机就能试的
虽然2.0的卡也没几个钱

折腾综合症


主板带的SATA接满了，入了张LSI9240，准备刷9211固件做Passthrough，接硬盘，挂到OMV里面，两个方案：1、直通给OVM虚拟机。2、不直通，还是像目前这种，把连接到阵列卡的HDD做RDM导给OMV用，哪个更合理些呢

overthink 发表于 2015-3-12 11:24
折腾综合症

干嘛买9240，直接买9211不还便宜点
你要直接刷I/T固件么？
说真的我还不知道刷了I/T以后设备逻辑是啥样，不过RDM总归是可以用的

nighttob 发表于 2015-3-12 12:13
干嘛买9240，直接买9211不还便宜点
你要直接刷I/T固件么？
说真的我还不知道刷了I/T以后设备逻辑是啥样， ...

9240可以刷9211的固件玩。反过来就不成了。

嗯，直刷IT固件。

刷了之后应该和原生的9211一样的吧。

我决定直通给OMV虚拟机用，不做RDM。

再有一个小问题，是接PCH还是接CPU？ 貌似接CPU性能更好点？

overthink 发表于 2015-3-12 15:16
9240可以刷9211的固件玩。反过来就不成了。

嗯，直刷IT固件。

你要是做直通的话还是CPU上面好
如果你是OMV阵列分布在卡上和PCH SATA上，我觉得还是插PCH然后都RDM好些。

PCH上面插可引导（需要引导的）设备最好

nighttob 发表于 2015-3-12 19:40
你要是做直通的话还是CPU上面好
如果你是OMV阵列分布在卡上和PCH SATA上，我觉得还是插PCH然后都RDM好些 ...

决定这样开搞：

USB3.0扩展卡撤下，HBA卡直通，接CPU上，最大8盘扩展应该够了。PCH SATA接ESXi的数据存储用，多余的接口也可以接硬盘RDM给不同的虚拟机使用。再添加一个USB2.0扩展卡直通给虚拟机使用。

overthink 发表于 2015-3-13 08:32
决定这样开搞：

USB3.0扩展卡撤下，HBA卡直通，接CPU上，最大8盘扩展应该够了。PCH SATA接ESXi的数据存 ...

搞吧

其实我本来想买intel的集成HBA模块的

nighttob 发表于 2015-3-12 11:00
你那么着急干啥……
我周末有空重启下虚拟机就能试的
虽然2.0的卡也没几个钱

NEC卡我接上了，显示两个OHCI，一个USB2.0


08：00.0直通给XP，正常使用。

08：00.1直通给WIN8.1，虚拟机无法启动。



不知道你那情况如何？