自用服务器·完全体

随着前不久万兆网卡和RMM4 key的添置，我的自用服务器也终于进化成了完全体，从初装（基于ESXi的家用多功能服务器初建成）到现在历时3年多。

何为完全体，看图说话。

机箱：NZXT Source 210（原装）
电源：Antec Neo ECO 450M（2016年7月替代Antec Nec ECO 450）
机箱散热：1*机箱标配，3*SFF-21E（原来有4个，这回去掉了一个）
主板：S1200BTL（原装）
CPU散热：2代i3盒装风扇（原装）
CPU：Intel Xeon E3-1230v2（原装）
内存：2*4GB KST DDR3-1600 UECC（原装）+2*4GB KST DDR3-1333 UECC（2015年9月添加）
PCI Slot #6：AMD Radeon 6450 1GB（原装）
PCI Slot #5：LSI MegaRAID SAS 9260-8i（原装，2016年4月到7月之间短暂替换过Nytro MegaRAID SAS 8110-4i+Intel RES2CV240 SAS Expander）
PCI Slot #4：Intel X540-T1（2017年4月添加）
PCI Slot #3：sTec s1120 980GB SSA（2014年12月添加）
PCI Slot #1：NEC USB2.0扩展卡（2014年12月添加）
SAS Mezzanine：AXXRMS2AF080（2016年1月添加）
RMM4 Lite Key（2017年4月添加）
系统盘：8GB Toshiba USB2.0 U盘（2016年1月替代X25-E 32GB，2015年2月替代X25-M G2 80GB，2014年12月替代520 240GB）
主存储：8*Toshiba DT01ACA300 3TB RAID6（2016年12月替代12*Seagate ST2000DL003 2TB RAID6+热备，2016年4月添加3个ST2000DL003）
备存储：2*Seagate ST2000DL003 2TB JBOD（被替代后留作备用）装在一个光驱位2转3热插拔笼子里

硬件上距离究极体需要补的“洞”还有RMM4独立网口（就是一个独立千兆IPMI口）、TPM模块（国内没得卖）、PS_AUX（PMBus，用来管理热插拔电源的，以后可以考虑弄）这些了。

这套硬件配置，个人认为已经不比很多只有单CPU的低端双路服务器差了（E5-2607v3/v4+2*4GB DDR4的机器很多很多），虽然硬件比较老了，但功能上比那些品牌服务器强大太多。这3年多的使用时间也只发生过2次硬盘故障，RAS方面也是完全过得去的。唯二的缺点就是不支持热插拔（硬盘、电源和风扇）、硬盘也是普通桌面级（但低端服务器也就是这级别的货色）。

软件上并没有实质变化，就是加了万兆网卡以后重新分配了一下网卡。
万兆网卡连接VM LAN网络，对外直接连日用主机；82574L改为连接VM WAN网络，对外连光猫，同时IPMI管理口也在它上面；82579LM作为临时用，暂时闲置。
这一周对万兆网卡进行测试的时候发现，两端都是Windows系统，传输速度到万兆没有问题。
但在ESXi环境下，测试日用主机到虚拟机时，上行速度只有3Gb/s，下行有7Gb/s。
虚拟机之间可以达到8Gb/s。所以应该还是有ESXi网络方面的设置需要调整。
至于iKVM，我一直说这就跟SSD和热插拔一样是让人上瘾的东西，远程设置BIOS、配RAID、装系统不能再方便。不过现在已经有ESXi的环境，本身就是个KVM，所以难以充分发挥iKVM的方便。

到此，自用服务器硬件方面的改造就告一段落了。可以看到这3年间我不断新加、替换了不少东西。其中一些是因为需求而为，一些是降价了所以买买买，还有一些是功课做够了可以上手去试。很多的时候想法很美好，但事实上往往会抓瞎。就像之前混刷IT固件、玩NMR卡，还有这次万兆网卡的事，我预期会距离10Gbps有一定距离，毕竟要走一个软件虚拟交换机，但没想到连一半都没有，虽然即使这样也足以满足需求。当然，这也留下了下一步的折腾空间。

---

其他的事

本来计划是要买新的日用主机用来配套万兆网卡，因为目前日用主机的第二个PCIe x16插槽坏了，之前测试高科技转接线和Micron 7100 SSD都只能拆掉第一个PCIe x16的显卡才能做的。于是从今年1月通过预算后就一直在等主板、CPU、内存有货。但直到这个月要执行之前才发现，7代i3不带ECC，真是经验主义（差点）害死人。所以买新电脑的计划暂时搁置。

更气人（？）的是，此前一年都处于“死亡”状态的第二个PCIe x16插槽，又突然活过来了。

最后感谢Intel和ASRock，暂时为我省了几千￥，Z77+i5 3470再战多少年我不知道，总之我没有性能上的需求。

overthink 发表于 2017-4-30 21:05
T2是双口的吧？在网络里只看到一个……
自己搞服务器可以按这个来了。 二级精华 @石头
...

是T1
从上到下都是T1

虽然设备名是-AT2

overthink 发表于 2017-4-30 21:18
看到T2.还以为是双口的， 整个 拓扑是怎么接的？ 台机T1和ESXi T1直连？   

...

对，2个10Gb直连
现在连个1Gb交换机都没上，直接用光猫做100M交换+wifi

原本计划是10Gb只走Files，连外网和控制走100M
要实现起来也不难，但实施的时候犯懒，也不是十分必要

az6338890 发表于 2017-5-1 00:03
七代i3不支持ecc了吗，我都没注意

pentium支持，i3不支持

10Gb网的问题暂时解决
解决方案是全新安装了一个esxi6.5
但我认为肯定不是6.0或者6.5的差别，肯定是之前的系统有过什么设置，只是我不知道

dogbear 发表于 2017-5-2 18:21
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么？稳定不折腾的。

killer太折腾人了 ...

intel和bcm的随便买
MIH的也无所谓

tokimemo 发表于 2017-5-4 01:07
网络问题你可以尝试打开SR-IOV把VF直接透给GUEST

AAXRMS你这个型号我没找到, 能不能给个购买连接

是我打错了，AXXRMS2AF080
http://ark.intel.com/products/54 ... Module-AXXRMS2AF080
我是在ebay上面买的二手货

网络问题已经解决了，虽然我还不到成因
SR-IOV我考虑过，但需要有万兆连接的虚机至少2个，这样用不方便

我也认为一个单独的RMM管理口没必要，现在也没有用千兆交换机，直接NC-SI的方式用82574L也很合适，就是USB重定向的时候只有100M略慢
不过这次装ESXi6.5就是远程挂载安装的，也没觉得慢多少，毕竟板载也只有USB2.0

tokimemo 发表于 2017-5-8 00:28
换了RMM4的网络卡也是最高100M,不会变快,这个是目前iKVM的极限了, 其他的超微还有ASROCK 那些也一样
SR-I ...

VF只在刀片的emulex卡上接触过，其他家的不熟
不管怎么直通都会损失一定的虚拟机弹性，特别是我这有一个需要经常快照的，所以用SR-IOV不太适合

kknd1928 发表于 2017-5-10 16:14
"日用主机到虚拟机", 日用主机是实体机吧？网络数据传输测试时巨型帧(MTU)开了没？

最近测试iSCSI的时候发 ...

MTU我改过，但是没区别
没开巨帧之前iSCSI确实慢成狗，但我目前没这个需求