PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 家用ESXi跳坑指南 [打印本页]
作者: nighttob    时间: 2017-5-8 21:40
标题: 家用ESXi跳坑指南
不少朋友已经“家大业大”，需要一台HomeLab承担多种任务，比如存储、下载、HTPC等等。
由于VMware ESXi声名在外，大部分人就以ESXi为备选甚至正选方案。
这里我就不说ESXi有什么用、有多好了，想跳这个坑必然有做一些功课，就说一些经验，也希望集思广益，方便他人“一路走到底”。

首先，也是最重要的——先确定是否有必要用ESXi这个方案。
不管你是为了防全家桶、防熊孩子，还是只是为了装x，总之记住不要搬起石头砸自己的脚，不过把石头填进坑里还是很爽的。

那么，以下开始正篇。

1. ESXi，或者说正式叫法vSphere Hypervisor，是免费的。
虽然网络上有很多资源可以下载，但如果你是个“守法公民”的话，可以直接在VMware官网用邮箱注册ID，就可以免费下载ESXi并取得免费License。免费License的授权范围是单CPU，不限制核心和线程数，只有基本功能。
说是基本功能，但肯定是够HomeLab用了。那么想用vCenter怎么办，算号器满地都是，VMware不会闲的没事去查个人的，人家卖的是服务，比如你紫屏了，导日志给VMware给你分析，不交钱肯定没这种服务。

2. ESXi的硬件需求。
ESXi的基本硬件需求可以说很低，毕竟只是个轻量级Linux系统，基本要求就是：a)硬件虚拟化，近10年的主流平台都支持；b)不低于4GB内存；c)网络通；d)最低限度的存储空间。
真正的硬件需求其实是你希望ESXi实现什么目的：多少个虚拟机——多大的内存和存储空间，直通显卡——VT-D/AMD-Vi功能，等。
a) 硬件虚拟化，Intel的VT-x和AMD的AMD-V已经是标配了，如果需要直通显卡等PCI设备就需要硬件支持IOMMU。在Intel平台上就是VT-D功能，需要CPU和主板同时支持，需要注意VT-D并不是消费级功能，但很多主板都会直接或者变相开启，需要自行确定。AMD平台叫AMD-Vi，很长时间没摸过AMD平台了，道理应该类似。
b) 没有至少8GB内存还是别想了，这个没什么可说的。虽然ESXi的好处就在于内存分配是动态调整的，也可以利用SSD作为主机缓存。但在有PCI直通的虚拟机里面需要预留固定的内存，有2个需要直通的虚拟机物理内存就见底了。使用SSD作为主机缓存虽然效果确实不错，但还是能感受到性能影响的。
c) 因为ESXi完全依赖网络去管理，所以安装之时就要求有可用的网卡，否则会直接报错终止。然而考虑消费级主板主流的螃蟹和QCA/Killer网卡并不被ESXi所支持，虽然并不是完全找不到它们的驱动，但准备过程是极为痛苦的。这方面推荐采用Intel或者Broadcom网卡方案的产品，具体参考VMware HCL IO Device。
d) 虽然说存储空间够用就行，但需要注意ESXi是挑盘的。可能很多人知道ESXi对Advanced Format(AF)格式的磁盘支持不佳（包括HDD和SSD），具体来讲就是在ESXi6.5（VMFS6）之前都不支持512e格式，自始不支持4Kn格式。对512e来说是可以识别硬盘，也能使用，但在某些情况下会造成磁盘性能极具下降，比如快照后；对4Kn来说就是根本不识别硬盘，当然也就没法用，具体可以参考VMware知识库。
网络和存储这两个很容易被忽视，所以一定要注意。

3. ESXi的版本。
我们现在能接触到的ESXi版本已经是5.0以上的了（5.0, 5.1, 5.5, 6.0, 6.5），不同版本的硬件兼容性和功能都有所区别。
关于硬件兼容性，还要以VMware HCL Systems为准。
需要注意，品牌服务器厂家给的兼容列表和VMware HCL的认证有的是不同步的，二者的考量并不相同。HCL里面会有安装某个ESXi版本所要求的最低BIOS版本，但服务器厂家给的兼容列表中就没有此版本。
ESXi系统内置的驱动也会随着版本变化有所增减，比如i82579网卡（很“古老”了）在ESXi6.5中有了内置驱动，但之前的旧版本却未内置需要自己补。
功能上的变化需要看各个版本的Release Note，举个常见例子就是ESXi5.5（虚拟机版本10）开始支持超过2TB的虚拟磁盘，还有上面说的512e的问题。

4. ESXi的安装。
ESXi可以安装在本地硬盘、U盘、SD卡以及网络位置上，系统本体的容量要求很低，常见做法也是安装在U盘或者SD卡上面，与虚拟机数据存储介质相分离。
一些大的品牌厂家会提供定制版ESXi ISO，其中会包含专用驱动及配置文件，一般品牌服务器都会建议使用厂家定制版安装。有一点要注意是部分RAID卡会被识别为Remote Storage Device，不要被唬住，事后可以改为本地存储设备。

5. ESXi的管理。
ESXi的管理手段一般是vSphere Client客户端、vSphere Web Client网页客户端及SSH工具三种方式。从ESXi6.0开始系统就内置了ESXi Embedded Host Client，免去了安装vSphere Client及vCenter Server，可以直接浏览器登陆Management IP(xxx.xxx.xxx.xxx/ui/)登陆网页客户端进行管理，界面跟安装vCenter后的Web Client类似，但是完全采用HTML5技术，不需要安装JRE。
ESXi6.5没有对应版本的vSphere Client客户端，要实现ESXi6.5的新增功能就只能通过Embedded Host Client和vSphere Web Client进行操作了。我个人的体验就是Embedded Host Client还有些功能不完善，或者说习惯改不过来，还需要与vSphere Client客户端互补。比如在vSphere Client客户端可以上传整个文件夹到数据存储，但HTML5客户端就只能一个一个文件传；HTML5的控制台也不支持直接挂载本地镜像，要先上传到数据存储中进行挂载。

接下来说几个做HomeLab比较关心的问题。

6. 关于直通显卡。
对Intel平台而言，直通显卡成功的关键是禁用核显(iGPU)及主板板载声卡，这两个设备无法被直通，即使直通也无法正常用。所以没有最好，有的话就禁用掉。
众所周知的是随便个A卡都能直通进去，运行也正常。唯一一点就是虚拟机装win7需要改pci.hole参数，但我个人的做法是新建虚拟机的时候选用win8的profile，再安装系统和驱动就没有任何问题了。
有同学指出N卡也可以直通，参考 @CatoHT 写的 记录下EXSI直通GTX1050TI碰上的坑，有条件我也会尝试下。
对于没有BMC集显的平台而言，直通显卡也就意味着物理主机这边进ESXi系统以后无法进行本地控制了。虽然正常情况下都是通过远程去管理的，但出问题的时候要修复也就比较麻烦了。

7. 关于USB直通。
由于VMware做的限制，USB键鼠这种人机界面输入设备无法直接用USB设备直通方式给虚拟机用。USB HUB对ESXi来说是透明的，无法被直通。所以只能“曲线救国”将USB控制器像直通显卡一样把设备直通给虚拟机。
因为主板南桥中必然有USB控制器，所以最理想的方案就是直接直通集成USB控制器。是的，这在ESXi5.0上面是可行的，但也只在5.0上面可行。
在ESXi5.1上面直通USB控制器是个灾难，不论集成还是独立的都不行，当然现在也应该没有用ESXi5.1的了。
ESXi5.5可以把集成USB控制器直通到虚拟机中，但大概率无法驱动，即使能驱动也没法用，独立USB控制器正常。
到了ESXi6.0以上，直通集成USB控制器就是徒劳了，虚拟机根本识别不到，独立USB控制器依然是正常的。
所以为了用南桥集成的USB控制器就只能用ESXi5.0的版本，但这也就限制了虚拟机的功能；想用新版ESXi的话就要用独立USB控制器，不管是板载的第三方还是占一个PCIe槽位。
有人问键鼠二合一的USB收发器如何，我可以告诉你不行。蓝牙可以试，但很可能收不到蓝牙的信号。

8. 关于无线网卡直通。
既然已经有了ESXi，那么顺便做个软路由也是水到渠成的。
有线网的问题很好搞定，除非你要上10Gb LAN和NAT，不然宇宙真理级别的虚拟82574L能解决1000M及以下的所有问题。
问题在于无线网卡。首先不论是PCIe的还是USB的，直通都是可以的，但结果很可能都是没有信号，参考 @overthink写的 ESXi家用服务器搭建：ROS软路由篇。
软路由的无线网络兼容方面可以说跟有线网正好相反，是Atheros(QCA)的兼容性最好，Intel的反而不佳。

9. 关于存储直通。
如果有RAID或者HBA卡的话，直接当作一个PCI设备去直通是没有问题的。但要注意某些设备并未对直通做过优化，比如我之前用Nytro MegaRAID的那段时间，直通NMR每次重启服务器都会报一个设备被重置Critical错误。原因可以理解为本来是在物理主机上的，然后启动ESXi后就被断开了，直到虚拟机启动再挂载到虚拟机上，期间有一个Link被断开的过程。但普通的MegaRAID就没有这个报错。
除此以外更常见的就是RDM裸设备映射了。理论上RDM并不限制接口和容量，在ESXi5.0里面RDM超过2TB的硬盘也可以，只是在虚拟机里面会有磁盘容量识别错误，无法进行分区操作，规避方法是RDM之前就在别的PC上面分区好。
RDM还有“花式”（作死）用法，比如正常RDM给虚拟机，但在虚拟机中新建分区时不占满整个磁盘，空余一部分再在vSphere里面创建数据存储卷，也就是一部分直接给虚拟机用，另一部分用作存储虚拟机。

10. 直通的代价。
所有的PCI设备直通都会导致无法进行快照操作，当然虚拟机在线迁移啥的也就别想了，应用虚拟机的一大优势也就丢失了。当然这对家用来说问题不大。
直通还要求锁定全部分配的内存，也就是不管这部分内存实际是否活动，也被强行划走不参与动态分配了。这对内存有限，但要开的虚拟机数量很多的环境就比较成问题了。还要注意一点，如果先开启其他未直通的虚拟机，使剩余可用内存已经低于有直通的虚拟机分配的内存了的话，该虚拟机就会因内存不足而无法启动，所以就需要先启动有直通的虚拟机。
RDM的磁盘可以选择快照的执行方式，这并没有变化，但要注意作死玩法这样弄就真的是作死了。

就先这10条，有其他的再补充，也欢迎其他老司机献策。
作者: CatoHT    时间: 2017-5-8 23:20
本帖最后由 CatoHT 于 2017-5-8 23:39 编辑

ESXi 6.0U3 /6.5d是目前的最新版本，下载方式比较tricky，得申请vSphere试用，然后等一天

WI-FI自带的蓝牙虽然是USB的，但在ESXi和KVM下都不能直通

我记得之前有人推荐过 HighPoint 的4口USB扩展卡，型号好像是1144A
好处是会有4个独立的USB Controller，可供4个虚拟机分别使用
坏处是贵……

如果有谁和我一样，作死上了ITX主板，缺少空PCIE槽的话，
可以转战KVM，USB直通毫无难度（然而PCIE直通配置繁琐）
下一步打算在KVM下，把onboard SATA controller直通给FreeNAS Guest（系统在NVMe盘）


KVM下直通dGPU不需要禁用iGPU，相反，最好把iGPU留给Host
ESXi下直通dGPU需要在BIOS里将其设置为Primary，不确定是否一定要禁用iGPU
我在KVM和ESXi下成功直通dGPU时，均未禁用板载声卡

另外，直通后也是有备份虚拟机的方法的：clone your entire disk（奸笑）




作者: nighttob    时间: 2017-5-8 23:37
本帖最后由 nighttob 于 2017-5-8 23:42 编辑
CatoHT 发表于 2017-5-8 23:20
ESXi 6.0U3 /6.5d是目前的最新版本，下载方式比较tricky，得申请vSphere试用，然后等一天

WI-FI自带的蓝牙 ...

不申请试用是不给你最新版，不过我觉得6.5a还是6.5d其实不打紧
生产环境也不会刷一个版本就升的


HPT那个卡确实很多方案都推荐过，缺点就是贵
所以我的Reference Design #3用的是一个带1个第三方USB3.0的Z97，这样3显卡+2个独立USB3.0正好满足3人需求
真要用RocketU1144A/C的话，整体成本就要加一倍了

KVM其实没有unRAID那个简单，那个简直傻瓜到极点，虽然也是要自己改一些配置文件
就是要解决License的问题

用不上的功能最好还是干掉
其实VMware在图形这方面，或者说VDI这方面只能说后起，Citrix做的更好
我觉得还是VMware跟NV有什么PY……

现在不是已经有ZFS for linux了吗，直接在host上面做存储吧
我曾经想要是Win2k16的Hyper-V支持直通的话就转战了，结果MS不给力啊，而且看上去以后都没戏了



作者: CatoHT    时间: 2017-5-8 23:49
ZFS for linux 我在OMV里试过了，跑起来没问题。
但是OMV是基于Debian Jessie的，库太旧，而我的硬件太新，无法愉快的玩耍
而且Debian本身更侧重于Server，对某些东西的适配相对糟，用起来太累。

我现在的Host是Fedora，直接用ZFS的话还得自己维护一套FTP/SMB/NFS之类的东西，太累。
所以开成熟的FreeNAS虚拟机，并直通SATA Controller才是最省心的方案


不过还有个麻烦：我需要把KVM网卡从NAT调成Bridge，回头再说吧
作者: nighttob    时间: 2017-5-8 23:54
CatoHT 发表于 2017-5-8 23:49
ZFS for linux 我在OMV里试过了，跑起来没问题。
但是OMV是基于Debian Jessie的，库太旧，而我的硬件太新， ...

我现在的想法是PCH集成的尽量别pass-thru，总觉得有说不清的隐患
不过弄这玩意不就为了折腾嘛，当然是怎么玩耍的更愉快怎么搞

作者: superlaser177    时间: 2017-5-9 00:03
本帖最后由 superlaser177 于 2017-5-9 00:08 编辑

LZ你好，我是刚打算入门家庭虚拟化的新人，现在在windows server2016+hyper v和esxi之间犹豫不决，有以下四个问题如果可以的话求解答。

机器是ML350 G9，对这台机器的主要需求是nas，其他的次要需求有例如自建的游戏服务器（需要server2003环境），偶尔跑一些渲染等。

问题如下：
1.就虚拟化环境管理二者之间哪个更方便灵活，哪个性能更强（因为要考虑到渲染）。
2.windows在2012r2之后加入了比较灵活的存储池（至少从介绍上看是如此），这个存储池与硬raid之间如何选择（机器有P440AR raid卡）。
3.如果使用raid，模式我打算使用raid5 3d+1p 或是windows存储池的奇偶校验模式，有什么缺陷吗。
4.如果使用raid+esxi的话，直通是否只能把整个raid卷分配给一个虚拟机？


先谢谢了。
作者: CatoHT    时间: 2017-5-9 00:03
nighttob 发表于 2017-5-8 23:54
我现在的想法是PCH集成的尽量别pass-thru，总觉得有说不清的隐患
不过弄这玩意不就为了折腾嘛，当然是怎 ...

嘿嘿，没办法，专业作死一百年晚期患者¯\_(ツ)_/¯

其实我可以一个一个直通硬盘，但是哪有直通Controller方便
而且说不定有各种小毛病，比如不能传递SMART，so……

License是大敌……

NV出钱买VMware的节操，只通专业卡，不通大众卡？

我已经Hyper-V一生黑了，不知道Docker on Win怎么样

作者: nighttob    时间: 2017-5-9 00:07
本帖最后由 nighttob 于 2017-5-9 00:08 编辑
CatoHT 发表于 2017-5-9 00:03
嘿嘿，没办法，专业作死一百年晚期患者¯\_(ツ)_/¯

其实我可以一个一个直通硬盘，但是哪有直通Controll ...

老黄的专业卡用一般的直通手段也无解
但VMware的VDI方案全是老黄的啊
不过谁都知道GPU直通不是正确用法，只能说AMD这方面口子宽

Win2k16的Docker这才刚起步，感觉MS是弄了个半成品就上架了


作者: nighttob    时间: 2017-5-9 00:20
superlaser177 发表于 2017-5-9 00:03
LZ你好，我是刚打算入门家庭虚拟化的新人，现在在windows server2016+hyper v和esxi之间犹豫不决，有以下四 ...

就生产环境而言，Hyper-V和ESXi的效率差不多
但从生态系统来说还是ESXi具有优势
你所说跑渲染是采用什么方式？直接在host上面跑还是在vm里面？
Windows可以在host里面直接跑，ESXi就只能vm了，host和vm肯定是有区别的

Storage Space是给没有硬卡的准备的
硬卡的性能和健壮性还是要强一些，不过HP是PMC的硬件，基本没接触

SS的Parity卷性能很低，跟带缓存电池的硬卡完全不在一个水平上
MS推荐的玩法是Mirror卷，在Win2k16上配合ReFS跑Hyper-V效果拔群，至少是这么吹的

如果没有必要的话，尽量不要直通，直接建虚拟磁盘
RDM直通的是drive，不管是PD还是RAID后的VD，当然你可以用作死玩法既给vm用也给ESXi host用
或者在做RAID的时候做多个VD，按需分配就是

作者: superlaser177    时间: 2017-5-9 00:40
本帖最后由 superlaser177 于 2017-5-9 00:42 编辑
nighttob 发表于 2017-5-9 00:20
就生产环境而言，Hyper-V和ESXi的效率差不多
但从生态系统来说还是ESXi具有优势
你所说跑渲染是采用什么 ...

后面三条理解了，至于第一个问题中的渲染，我需要跑的渲染基本就是个人爱好做的一些maya场景的渲染，之前没有玩过虚拟化，一直都是在host上跑的。

如果用esxi架vm的话在渲染的时候会不会有无法达到cpu利用率最大化的问题？

另外 不太理解这个生态系统的概念。

至于nas和游戏服务器以及乱七八糟的东西对性能的要求个人认为并不是很大，渲染跑起来肯定是优先级最高的 甚至可以在渲染的时候停掉其他的vm（至少现在的需求是这样），不过跑渲染的频率并不高，这样如何选择？

作者: nighttob    时间: 2017-5-9 06:05
本帖最后由 nighttob 于 2017-5-9 06:08 编辑
superlaser177 发表于 2017-5-9 00:40
后面三条理解了，至于第一个问题中的渲染，我需要跑的渲染基本就是个人爱好做的一些maya场景的渲染，之前 ...

如果是纯CPU渲染的话，现在虚拟化的效率都很高，相同核心/线程数不会比直接在host里做慢多少
如果要用到GPU加速，那就会有可用性的问题
但我觉得你对虚拟化的需求主要就是开一个vm跑win2k3用，其他的都可以在host上做。你所说的存储、渲染这些要求，有必要相互隔离吗？

所谓生态系统就是虚拟化host横向和纵向的附加功能

作者: 尊称    时间: 2017-5-9 06:22
本帖最后由 尊称 于 2017-5-9 22:19 编辑
superlaser177 发表于 2017-5-9 00:40
后面三条理解了，至于第一个问题中的渲染，我需要跑的渲染基本就是个人爱好做的一些maya场景的渲染，之前 ...

我跑存储池双向镜像有段时间了，最早考虑的是跟暴版学的，后来加入了一个奇偶校验。当时主机是windows10ltsb，没有独立出服务器。win10下面做建立分区很痛苦，各种被删减功能（shell下需要大量查阅、学习，就没弄）。最后建立奇偶校验的时候临时搭建server2016才得以建立分区，然后win10还能愉快地跑。

双向镜像效率不错，空间浪费比较大，有人做过试验可靠性还是不错的，尤其是refs。奇偶校验也是色坛网友说的，实际操作太痛苦，效率低下。简单做评述。


现在已经搭建专用的server2016了，其中的存储池还没有撤离，是因为时间原因，还没顾上。nas准备hyper-v跑OMV，这是跟O版主学的，已经安装和试验起来，原因是高效。现在用单个硬盘的故有ntfs分区试验过，不到30MB/s，O版主提示后，重新格式化ext4分区，性能就已经上来了，千兆跑满没问题。O版主跑的raid6性能同样跑满千兆。


之所以没有选择ESXi，我试验过，跟n版主、O版主说过的一样，各种挑硬件，而server温和得多。我可能很少用所谓直通，毕竟本地连显示器用噪音是个大问题，现在windows的远程桌面（Remotefx）感受还是很爽的。没有对远程桌面太多的测试，转帖一个，我猜至少你渲染不管是host还是vm都没有问题。1703还有专门的app，Remote Desktop，很好用，不知道以前的版本有没有。


搭建之前咨询贴，昨晚归置乱如麻的插座线缆，断电后测试功耗闲置状态43w（cpu跑在800Mhz左右，即便占用率将近10%都是，三个东芝3T水坛标配，一个wd1T企业版，一个东芝ssd pro 240）。从现在跑nas、kms和vm下跑老的那个windows10ltsb（使用dism++移植过来了，为了保留里面的配置或许设置数据），cpu够用，那么将来一段时间看来选择这么跑了。系统保留升级cpu到至强，跑ESXi的余地。

再讨论！

作者: CatoHT    时间: 2017-5-9 09:13
nighttob 发表于 2017-5-9 00:07
老黄的专业卡用一般的直通手段也无解
但VMware的VDI方案全是老黄的啊
不过谁都知道GPU直通不是正确用法， ...

刚刚查了一下，AMD也有VDI方案，但是宣传时间比NV的晚了一年，而且没得到VMWARE的官推。
虽然不清楚具体情况，但看起来像是AMD在2015年的时候不给力，所以VMWARE选择和NV交易。

当然，说有PY交易也行 ψ(‵▽′)ψ

作者: superlaser177    时间: 2017-5-9 13:17
nighttob 发表于 2017-5-9 06:05
如果是纯CPU渲染的话，现在虚拟化的效率都很高，相同核心/线程数不会比直接在host里做慢多少
如果要用到GP ...

基本上都是cpu渲染，gpu用的很少，至于vm的功能跟你说的差不多 跑个win2k3在折腾折腾各种nas系统 我是这么打算的，存储的话我觉得没什么隔离的必要。

作者: superlaser177    时间: 2017-5-9 13:25
尊称 发表于 2017-5-9 06:22
我跑存储池双向镜像有段时间了，最早考虑的是跟暴版学的，后来加入了一个奇偶校验。当时主机是windows10lt ...

感谢回复，我去看一下这两个帖子
作者: 尊称    时间: 2017-5-9 13:57
本帖最后由 尊称 于 2017-5-9 14:03 编辑
superlaser177 发表于 2017-5-9 00:03
LZ你好，我是刚打算入门家庭虚拟化的新人，现在在windows server2016+hyper v和esxi之间犹豫不决，有以下四 ...

你这台惠普什么cpu？支持VT-d吗？

https://www.hpe.com/us/en/produc ... server.7271259.html

双cpu架构啊，那肯定没问题
作者: superlaser177    时间: 2017-5-9 16:31
尊称 发表于 2017-5-9 13:57
你这台惠普什么cpu？支持VT-d吗？

https://www.hpe.com/us/en/product-catalog/servers/proliant-servers ...

是的。。。
当时就是看这机器能装 才入的

作者: 2216283177    时间: 2017-5-12 22:55
n版，想请问一下esxi和vmware workstation区别何在呢？只用过workstation
作者: nighttob    时间: 2017-5-13 06:48
2216283177 发表于 2017-5-12 22:55
n版，想请问一下esxi和vmware workstation区别何在呢？只用过workstation

一个是操作系统(Hypervisor)，一个是操作系统上的软件
作者: 2216283177    时间: 2017-5-13 09:46
nighttob 发表于 2017-5-13 06:48
一个是操作系统(Hypervisor)，一个是操作系统上的软件

谢谢，也就是说，esxi是在esxi系统下直接创建虚拟机是吧？那他相对workstation有什么优势呢？workstation能直通usb吗
作者: nighttob    时间: 2017-5-13 10:16
2216283177 发表于 2017-5-13 09:46
谢谢，也就是说，esxi是在esxi系统下直接创建虚拟机是吧？那他相对workstation有什么优势呢？workstation ...

具体说就很多了，建议你直接放狗搜
workstation的直通跟esxi的不一样

作者: 2216283177    时间: 2017-5-13 18:48
nighttob 发表于 2017-5-13 10:16
具体说就很多了，建议你直接放狗搜
workstation的直通跟esxi的不一样

好的，感谢n版
作者: qiaopeng1231    时间: 2017-5-24 00:53
请教楼主，关于HP  ML110  Gen9 作死想在ESX里跑XP。
拟用Vsphere 6.0 U3版本。

需求如下：
1台ML110 Gen9 里边只跑1个XP。
这个XP必须要网卡直通。（拟用Intel i350T2 ，某自动化行业专业公司推荐的）
已测试证实了，I350T2 支持WIN XP ,有驱动。
这个XP“应” 支持显卡直通，拟用AMD V3900. 双头输出。

然后，这个ML110G9 服务器的显卡外接2个显示器，
要求键盘鼠标此时可以操作。

那么问题来了：
1. USB 鼠标键盘还是不好直通进 XP虚拟机？ 插一个USB  PCI-e扩展卡咋样？
    能不能推荐个便宜点的兼容性好的，我只是想直通进去用键盘鼠标而已，U盘都不会用的。

2. 硬盘用2块 1TB的做RAID1 好不好？拟用HP P222 或者P440AR。
    HP推荐的，说这2个RAID卡 在VM兼容列表里。

3. 此时板载的Matrox G200e 还有显示么？ HP iLo进去，控制台有桌面或者屏幕输出没？

键盘说，我是想用ML110G9 跑XP。
但是这个XP里边显卡 网卡必须是直通的。
每个服务器即使服务器，又是虚拟机的可操作终端，

不会再有专门的瘦客户端去操作。

不知道行不行？

谢谢楼主。
作者: 尊称    时间: 2017-5-24 08:01
qiaopeng1231 发表于 2017-5-24 00:53
请教楼主，关于HP  ML110  Gen9 作死想在ESX里跑XP。
拟用Vsphere 6.0 U3版本。

是找不到地方放就电脑还是啥，到处是不要钱的破电脑，老酷睿，甚至十年以上的电脑，跑xp绰绰有余，我淘汰的老电脑，现在还在跑win7，十四年了。
作者: nighttob    时间: 2017-5-24 09:38
qiaopeng1231 发表于 2017-5-24 00:53
请教楼主，关于HP  ML110  Gen9 作死想在ESX里跑XP。
拟用Vsphere 6.0 U3版本。

网卡必须直通？用SR-IOV不行？
直通在XP上是否好用我不知道，很多东西不是“当然”可行的。
USB只能自己试，板载的基本上是没戏。
只要是主流的独立RAID卡都能支持，没有关键业务需求也不用在意固件版本什么什么的。
我不知道HPE的BIOS有没有设置onboard viedo为active/primary的选项。
作者: XXHJACK    时间: 2017-5-24 13:10
本帖最后由 XXHJACK 于 2017-5-24 13:19 编辑
qiaopeng1231 发表于 2017-5-24 00:53
请教楼主，关于HP  ML110  Gen9 作死想在ESX里跑XP。
拟用Vsphere 6.0 U3版本。
1.没明白你这个什么意思。直接虚拟机内操作不行么？
2.P440AR你插不进去的要买p440！！！这两个卡一样的规格，接口不一样ar是贴在主板上的，没有的是标准卡，你直接买lsi的就行了，hp的全新卡贵反正一样。
3.可以显示啊！直通的是到你指定的某个虚拟机里用。
作者: qiaopeng1231    时间: 2017-5-24 23:13
尊称 发表于 2017-5-24 08:01
是找不到地方放就电脑还是啥，到处是不要钱的破电脑，老酷睿，甚至十年以上的电脑，跑xp绰绰有余，我淘汰 ...



工业控制领域，要求略微特殊些。

不是IT 办公环境。
作者: qiaopeng1231    时间: 2017-5-24 23:16
nighttob 发表于 2017-5-24 09:38
网卡必须直通？用SR-IOV不行？
直通在XP上是否好用我不知道，很多东西不是“当然”可行的。
USB只能自己 ...



测试了Intel i350 T2，直通到XP 是可行的。

为何要直通，因为Honeywell的 FTE 差不多只认直通的网卡。

USB 得用扩展卡 自己挨个试了？

HPE的 BIOS里确实有 板载显卡 和独立显卡，那个为主，那个禁用，或者那个为次的 选项设置的。
作者: qiaopeng1231    时间: 2017-5-24 23:19
XXHJACK 发表于 2017-5-24 13:10
1.没明白你这个什么意思。直接虚拟机内操作不行么？
2.P440AR你插不进去的要买p440！！！这两个卡一样的规 ...



1. 不想用瘦客户机，是想用十几台 ML110 gen9.
   所以要求看起来跟常规的虚拟化方案不一样。是每一台服务器里只跑一个XP。

2. 那我就查一下P440的价格了、
    P440AR 和P440 的差别应该就是 DELL   H730 和H730Mini的那种差别喽？

3. iLo可以显示的就好。 此时独立显卡输出2个显示器。
    集成显卡跟iLo 共享，远程控制台还能显示画面就不错的了。
作者: XXHJACK    时间: 2017-5-25 09:47
qiaopeng1231 发表于 2017-5-24 23:19
1. 不想用瘦客户机，是想用十几台 ML110 gen9.
   所以要求看起来跟常规的虚拟化方案不一样。是每一台 ...

1.这样啊！那你选择的方向就不是exsi是vmw或者hp-v图形化
2.是的
3.用不着那个，个人觉得反而不方便，直接网络远程访问就行了。

作者: dahuatttt    时间: 2017-5-25 22:43
LZ我的ati hd6770死活不能工作,看看能给点意见不.
系统esxi 6.5
主板芯片都支持vt-x vt-d
主机bios设置集显开机，esxi内已经直通显卡，64位win7系统安装前添加好了pci显卡，一切安装结束后在win7的设备管理器里禁用默认显卡(不禁用的话在安装ati驱动后必蓝屏)，安装ati显卡驱动，重启后进系统提示"未安装amd图形驱动程序, ....."。
用win8的设置装了win7结果一样。
作者: nighttob    时间: 2017-5-25 23:25
dahuatttt 发表于 2017-5-25 22:43
LZ我的ati hd6770死活不能工作,看看能给点意见不.
系统esxi 6.5
主板芯片都支持vt-x vt-d

什么CPU？核显必须禁用。
作者: dahuatttt    时间: 2017-5-25 23:37
nighttob 发表于 2017-5-25 23:25
什么CPU？核显必须禁用。

cpu是g4560
也就是说装完esxi后就要回bios里把核显关闭对吗？
作者: nighttob    时间: 2017-5-26 06:40
dahuatttt 发表于 2017-5-25 23:37
cpu是g4560
也就是说装完esxi后就要回bios里把核显关闭对吗？

一直都要关闭
作者: dahuatttt    时间: 2017-5-26 08:34
nighttob 发表于 2017-5-26 06:40
一直都要关闭

嗯，那平时怎么才能看到esxi的屏幕信息呢？
作者: nighttob    时间: 2017-5-26 12:46
dahuatttt 发表于 2017-5-26 08:34
嗯，那平时怎么才能看到esxi的屏幕信息呢？

看不到
或者再插个独显

作者: dahuatttt    时间: 2017-5-26 16:29
nighttob 发表于 2017-5-26 12:46
看不到
或者再插个独显

非常感谢! 重装了一下一次成功!
我这边的要点是,安装esxi之前就要在bios里关闭核显.其他步骤都是一样的.甚至都不需要在安装显卡驱动前禁用默认显卡.
不过版本换成了6.0U2 因为6.5的HTML5控制台用起来太蛋疼...

作者: nighttob    时间: 2017-5-26 17:16
dahuatttt 发表于 2017-5-26 16:29
非常感谢! 重装了一下一次成功!
我这边的要点是,安装esxi之前就要在bios里关闭核显.其他步骤都是一样的. ...

我刚开始玩的时候，看到的都说在安装A卡驱动之前要先禁用虚拟显卡，还有的说要进安全模式卸载驱动
但我自己折腾的时候都不需要

作者: dahuatttt    时间: 2017-5-26 18:37
nighttob 发表于 2017-5-26 17:16
我刚开始玩的时候，看到的都说在安装A卡驱动之前要先禁用虚拟显卡，还有的说要进安全模式卸载驱动
但我自 ...

现在接了USB声卡声音也有了，很好用
不过也遇到了个奇葩问题。。。如果在win7设备管理器里禁用了虚拟显卡，在重启win7后会弹出未安装amd驱动，物理显示器不亮，需要重新开启虚拟显卡才能点亮显示器。如果不关闭虚拟显卡则会同时开启两个显示器(1个是默认虚拟机显示器1个是物理显示器)，则鼠标操作范围异常。不知道LZ有遇到过类似问题吗。

作者: nighttob    时间: 2017-5-26 20:19
dahuatttt 发表于 2017-5-26 18:37
现在接了USB声卡声音也有了，很好用
不过也遇到了个奇葩问题。。。如果在win7设备管理器里禁用 ...

我设置的是只在A卡的屏幕上显示，2个一起显示没法控制
作者: dahuatttt    时间: 2017-5-26 22:35
nighttob 发表于 2017-5-26 20:19
我设置的是只在A卡的屏幕上显示，2个一起显示没法控制

恩，我也是改了只在屏幕2上显示，结果鼠标不能操作了。。。想看看直通能否解决问题，结果查了下说是6.0的USB直通不一样，鼠标直通失败。。

作者: nighttob    时间: 2017-5-26 22:52
dahuatttt 发表于 2017-5-26 22:35
恩，我也是改了只在屏幕2上显示，结果鼠标不能操作了。。。想看看直通能否解决问题，结果查了下说是6.0的 ...

买个USB3.0的扩展卡解决一切问题
作者: dahuatttt    时间: 2017-5-26 23:05
nighttob 发表于 2017-5-26 22:52
买个USB3.0的扩展卡解决一切问题

噢，是PCIE转USB还是USB3.0的USB HUB?

作者: nighttob    时间: 2017-5-27 07:27
dahuatttt 发表于 2017-5-26 23:05
噢，是PCIE转USB还是USB3.0的USB HUB?

PCI-USB3.0扩展卡


作者: dahuatttt    时间: 2017-5-31 20:29
nighttob 发表于 2017-5-27 07:27
PCI-USB3.0扩展卡

目前按照LZ的建议已经能使用键盘鼠标音响了！接了PCI-E的USB扩展卡和声卡。不过依然出现新的问题
直通了USB扩展卡的虚拟机系统win7在重启后就不能再开机了，卡在虚拟机开机bios启动的黑白界面上，必须重启esxi主系统才能进入直通了USB的win7，神奇。。。不知道LZ有没有遇到过这种情况，已测试确定是由USB扩展卡而非声卡引起。我买的是VL805 USB controller。

作者: nighttob    时间: 2017-5-31 21:04
dahuatttt 发表于 2017-5-31 20:29
目前按照LZ的建议已经能使用键盘鼠标音响了！接了PCI-E的USB扩展卡和声卡。不过依然出现新的问题{:7_378: ...

我用的是PCI-USB2.0的
之前在Z77板子上直通ASM1042没有遇到问题

作者: dahuatttt    时间: 2017-5-31 21:15
nighttob 发表于 2017-5-31 21:04
我用的是PCI-USB2.0的
之前在Z77板子上直通ASM1042没有遇到问题

谢谢！我再折腾下看看。。。

作者: CatoHT    时间: 2017-6-1 21:01
最近又作了下死：将NGFF M.2 2230转为mini-PCIE，然后上了一块mini-PCIe转USB3.0的扩展卡，实测可以在ESXi下直通。

然而板载SATA Controller在ESXi 6.5下无法直通，然并卵。

Fallback to OMV/KVM
作者: nighttob    时间: 2017-6-1 21:06
CatoHT 发表于 2017-6-1 21:01
最近又作了下死：将NGFF M.2 2230转为mini-PCIE，然后上了一块mini-PCIe转USB3.0的扩展卡，实测可以在ESXi ...

你还真执着
也可以说你有的可折腾

作者: kknd1928    时间: 2017-6-2 10:59
ESXi有不少坑。

1，vSphere Client不能添加大于2TB的VMDK，会有这个提示。

[attach]388332[/attach]

解决方法是安装vCenter 再在VC Web Client 上面添加才行，操作超过2TB的VMDK需要关机。

[attach]388338[/attach]

2，VM默认的虚拟网卡是E1000E，这个只有1Gbps的速度，要改为VMXNET3 才会有10Gbps，就算物理网卡只有1Gbps也没关系，虚拟机内部交换能去到10Gbps的。

这样，虚拟下载机传主储存就快很多了。

[attach]388334[/attach]

3，像我的储存架构是((((LSI RAID)ESXi)VMDK)VM)的，VM上的MegeRAID Storage Manager 要想看的阵列的状态，得安装LSI的驱动和LSI provider.vib，前者是阵列卡的驱动后者是阵列卡的管理接口驱动。

[attach]388335[/attach]

驱动安装成功的话就能在ESXi - 配置上面看的储存器状态了。未安装的话只能看到处理器和软件组件。

[attach]388336[/attach]

加一下静态hosts，MSM也能看到和连接了。
[attach]388339[/attach]

Z77也是惨，只能看到CPU 和RAID，连SATA的都看不到……服务器主板的都是一大串的，电压，USB，温度什么的。


作者: nighttob    时间: 2017-6-2 11:03
kknd1928 发表于 2017-6-2 10:59
ESXi有不少坑。

1，vSphere Client不能添加大于2TB的VMDK，会有这个提示。

你还在用5.0？
5.5就解决2TB vmdk的问题了，只是client做的不好
到6.0就完全没这个问题了

作者: kknd1928    时间: 2017-6-2 11:08
本帖最后由 kknd1928 于 2017-6-2 11:14 编辑
nighttob 发表于 2017-6-2 11:03
你还在用5.0？
5.5就解决2TB vmdk的问题了，只是client做的不好
到6.0就完全没这个问题了

噢，是大于4TB有问题，上面写错了。

https://kb.vmware.com/selfservic ... &externalId=2054952
但是我计划加的是5TB，实际用VC的时候加了10TB

[attach]388340[/attach]



作者: XXHJACK    时间: 2017-6-2 22:00
kknd1928 发表于 2017-6-2 11:08
噢，是大于4TB有问题，上面写错了。

https://kb.vmware.com/selfservic ... &externalId=2054952

大于4T的请裸映射。。。。。。。。。

作者: kknd1928    时间: 2017-6-3 02:37
XXHJACK 发表于 2017-6-2 22:00
大于4T的请裸映射。。。。。。。。。


不行，找不到LUN。而且，我也不需要把整个阵列给SMB服务器。

[attach]388516[/attach]
作者: XXHJACK    时间: 2017-6-3 20:29
本帖最后由 XXHJACK 于 2017-6-3 20:31 编辑
kknd1928 发表于 2017-6-3 02:37
不行，找不到LUN。而且，我也不需要把整个阵列给SMB服务器。

在阵列中分区，然后直接裸映射分区。另外裸映射要求点对点。
作者: dahuatttt    时间: 2017-6-23 21:55
按LZ的指导已经完全OK了!非常感谢!
现在剩下的问题就是磁盘性能了.慢慢等换SSD



欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/) Powered by Discuz! X3.2