自用服务器·完全体

随着前不久万兆网卡和RMM4 key的添置，我的自用服务器也终于进化成了完全体，从初装（基于ESXi的家用多功能服务器初建成）到现在历时3年多。

何为完全体，看图说话。

机箱：NZXT Source 210（原装）
电源：Antec Neo ECO 450M（2016年7月替代Antec Nec ECO 450）
机箱散热：1*机箱标配，3*SFF-21E（原来有4个，这回去掉了一个）
主板：S1200BTL（原装）
CPU散热：2代i3盒装风扇（原装）
CPU：Intel Xeon E3-1230v2（原装）
内存：2*4GB KST DDR3-1600 UECC（原装）+2*4GB KST DDR3-1333 UECC（2015年9月添加）
PCI Slot #6：AMD Radeon 6450 1GB（原装）
PCI Slot #5：LSI MegaRAID SAS 9260-8i（原装，2016年4月到7月之间短暂替换过Nytro MegaRAID SAS 8110-4i+Intel RES2CV240 SAS Expander）
PCI Slot #4：Intel X540-T1（2017年4月添加）
PCI Slot #3：sTec s1120 980GB SSA（2014年12月添加）
PCI Slot #1：NEC USB2.0扩展卡（2014年12月添加）
SAS Mezzanine：AXXRMS2AF080（2016年1月添加）
RMM4 Lite Key（2017年4月添加）
系统盘：8GB Toshiba USB2.0 U盘（2016年1月替代X25-E 32GB，2015年2月替代X25-M G2 80GB，2014年12月替代520 240GB）
主存储：8*Toshiba DT01ACA300 3TB RAID6（2016年12月替代12*Seagate ST2000DL003 2TB RAID6+热备，2016年4月添加3个ST2000DL003）
备存储：2*Seagate ST2000DL003 2TB JBOD（被替代后留作备用）装在一个光驱位2转3热插拔笼子里

硬件上距离究极体需要补的“洞”还有RMM4独立网口（就是一个独立千兆IPMI口）、TPM模块（国内没得卖）、PS_AUX（PMBus，用来管理热插拔电源的，以后可以考虑弄）这些了。

这套硬件配置，个人认为已经不比很多只有单CPU的低端双路服务器差了（E5-2607v3/v4+2*4GB DDR4的机器很多很多），虽然硬件比较老了，但功能上比那些品牌服务器强大太多。这3年多的使用时间也只发生过2次硬盘故障，RAS方面也是完全过得去的。唯二的缺点就是不支持热插拔（硬盘、电源和风扇）、硬盘也是普通桌面级（但低端服务器也就是这级别的货色）。

软件上并没有实质变化，就是加了万兆网卡以后重新分配了一下网卡。
万兆网卡连接VM LAN网络，对外直接连日用主机；82574L改为连接VM WAN网络，对外连光猫，同时IPMI管理口也在它上面；82579LM作为临时用，暂时闲置。
这一周对万兆网卡进行测试的时候发现，两端都是Windows系统，传输速度到万兆没有问题。
但在ESXi环境下，测试日用主机到虚拟机时，上行速度只有3Gb/s，下行有7Gb/s。
虚拟机之间可以达到8Gb/s。所以应该还是有ESXi网络方面的设置需要调整。
至于iKVM，我一直说这就跟SSD和热插拔一样是让人上瘾的东西，远程设置BIOS、配RAID、装系统不能再方便。不过现在已经有ESXi的环境，本身就是个KVM，所以难以充分发挥iKVM的方便。

到此，自用服务器硬件方面的改造就告一段落了。可以看到这3年间我不断新加、替换了不少东西。其中一些是因为需求而为，一些是降价了所以买买买，还有一些是功课做够了可以上手去试。很多的时候想法很美好，但事实上往往会抓瞎。就像之前混刷IT固件、玩NMR卡，还有这次万兆网卡的事，我预期会距离10Gbps有一定距离，毕竟要走一个软件虚拟交换机，但没想到连一半都没有，虽然即使这样也足以满足需求。当然，这也留下了下一步的折腾空间。

---

其他的事

本来计划是要买新的日用主机用来配套万兆网卡，因为目前日用主机的第二个PCIe x16插槽坏了，之前测试高科技转接线和Micron 7100 SSD都只能拆掉第一个PCIe x16的显卡才能做的。于是从今年1月通过预算后就一直在等主板、CPU、内存有货。但直到这个月要执行之前才发现，7代i3不带ECC，真是经验主义（差点）害死人。所以买新电脑的计划暂时搁置。

更气人（？）的是，此前一年都处于“死亡”状态的第二个PCIe x16插槽，又突然活过来了。

最后感谢Intel和ASRock，暂时为我省了几千￥，Z77+i5 3470再战多少年我不知道，总之我没有性能上的需求。

我现在的初步想法是分开弄两套，弄个了个小stx做下载机和软路由再弄个nas把存储独立出来后面发现硬盘和内存配下来太贵了，现在就跑起来下载机。

kknd1928 发表于 2017-5-10 16:14
"日用主机到虚拟机", 日用主机是实体机吧？网络数据传输测试时巨型帧(MTU)开了没？

最近测试iSCSI的时候发 ...

MTU我改过，但是没区别
没开巨帧之前iSCSI确实慢成狗，但我目前没这个需求

"日用主机到虚拟机", 日用主机是实体机吧？网络数据传输测试时巨型帧(MTU)开了没？

最近测试iSCSI的时候发现iSCSI性能低下是没有开启网卡的巨型帧选项。

无线网卡基本上没有巨型帧选项的，iSCSI慢成狗，几乎不能用。5G网络 3MiB/s 上传。

exsi的网络问题是无解的，学校一台350ml装的hp oem 6.0单机，在我这边下载管理客户端速度杠杠的7-8m的速度，拿到另一个校区什么设置都没做，下载客户端速度只有10多k，解决不了........好在内部的虚拟机网速都是正常的，我也是无语。

tokimemo 发表于 2017-5-8 00:28
换了RMM4的网络卡也是最高100M,不会变快,这个是目前iKVM的极限了, 其他的超微还有ASROCK 那些也一样
SR-I ...

VF只在刀片的emulex卡上接触过，其他家的不熟
不管怎么直通都会损失一定的虚拟机弹性，特别是我这有一个需要经常快照的，所以用SR-IOV不太适合

nighttob 发表于 2017-5-7 19:49
是我打错了，AXXRMS2AF080
http://ark.intel.com/products/54561/Intel-Integrated-Server-RAID-Module-A ...

换了RMM4的网络卡也是最高100M,不会变快,这个是目前iKVM的极限了, 其他的超微还有ASROCK 那些也一样
SR-IOV 的VF数量你可以自己设置的, 只是一般不建议开太多
VF基本相当于一个独立PCI设备可以直通给GUEST

tokimemo 发表于 2017-5-4 01:07
网络问题你可以尝试打开SR-IOV把VF直接透给GUEST

AAXRMS你这个型号我没找到, 能不能给个购买连接

是我打错了，AXXRMS2AF080
http://ark.intel.com/products/54 ... Module-AXXRMS2AF080
我是在ebay上面买的二手货

网络问题已经解决了，虽然我还不到成因
SR-IOV我考虑过，但需要有万兆连接的虚机至少2个，这样用不方便

我也认为一个单独的RMM管理口没必要，现在也没有用千兆交换机，直接NC-SI的方式用82574L也很合适，就是USB重定向的时候只有100M略慢
不过这次装ESXi6.5就是远程挂载安装的，也没觉得慢多少，毕竟板载也只有USB2.0

NOIP117 发表于 2017-5-4 20:05
多设备的话肯定需要交换设备的，两个设备就无所谓了。

家庭环境，能跑万兆的设备也只有PC服务器了吧，哪有那么多设备。

这个必须赞！我正在学ESXi，学会了再看~！

红色狂想 发表于 2017-5-4 19:43
手里囤这么多， 出我两块呗  万兆网卡还要啥交换机，不都是双机直连吗？ ...

多设备的话肯定需要交换设备的，两个设备就无所谓了。

NOIP117 发表于 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少，不过没合适的交换机可用是最大问题。

手里囤这么多， 出我两块呗  万兆网卡还要啥交换机，不都是双机直连吗？

功夫不负有心人，3年的折腾，仓库盘堆叠密不透风，现在终于圆满了。下一步浪费人生之下一代个人用服务器(Gen.3)构建规划走起。。。

这里请教一下，怎样用psping命令在局域网中测试两台PC之间的网速贷款呢？我一直在寻找局域网中方面测试传输速率的好用工具

网络问题你可以尝试打开SR-IOV把VF直接透给GUEST

AAXRMS你这个型号我没找到, 能不能给个购买连接
RMM4那个网卡是RTL的其实没什么意义,我玩过几次就拆下来放一边了,用他还多浪费我交换机一个端口

NOIP117 发表于 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少，不过没合适的交换机可用是最大问题。

和楼主一样，搞直连啊

wxlg1117 发表于 2017-5-1 21:48
套用发布者介绍,最新U12版本我用在我们开发组的二级路由上,开s s透明代理很给力,运行几个星期没崩溃了

...

不错，有空试试这个

dogbear 发表于 2017-5-2 18:21
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么？稳定不折腾的。

killer太折腾人了 ...

intel和bcm的随便买
MIH的也无所谓

问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么？稳定不折腾的。

killer太折腾人了

我也是这么干的，10G双口直连，用于虚拟机内部网络，对外用千兆网卡。

机箱的硬盘位真多，干这个用真是个好箱