PCEVA,PC绝对领域,探寻真正的电脑知识

标题: 自用服务器·完全体 [打印本页]

作者: nighttob    时间: 2017-4-30 12:46
标题: 自用服务器·完全体
本帖最后由 nighttob 于 2018-6-3 22:58 编辑

随着前不久万兆网卡和RMM4 key的添置,我的自用服务器也终于进化成了完全体,从初装(基于ESXi的家用多功能服务器初建成)到现在历时3年多。

何为完全体,看图说话。
[attach]405020[/attach]
机箱:NZXT Source 210(原装)
电源:Antec Neo ECO 450M(2016年7月替代Antec Nec ECO 450)
机箱散热:1*机箱标配,3*SFF-21E(原来有4个,这回去掉了一个)
主板:S1200BTL(原装)
CPU散热:2代i3盒装风扇(原装)
CPU:Intel Xeon E3-1230v2(原装)
内存:2*4GB KST DDR3-1600 UECC(原装)+2*4GB KST DDR3-1333 UECC(2015年9月添加)
PCI Slot #6:AMD Radeon 6450 1GB(原装)
PCI Slot #5:LSI MegaRAID SAS 9260-8i(原装,2016年4月到7月之间短暂替换过Nytro MegaRAID SAS 8110-4i+Intel RES2CV240 SAS Expander)
PCI Slot #4:Intel X540-T1(2017年4月添加)
PCI Slot #3:sTec s1120 980GB SSA(2014年12月添加)
PCI Slot #1:NEC USB2.0扩展卡(2014年12月添加)
SAS Mezzanine:AXXRMS2AF080(2016年1月添加)
RMM4 Lite Key(2017年4月添加)
系统盘:8GB Toshiba USB2.0 U盘(2016年1月替代X25-E 32GB,2015年2月替代X25-M G2 80GB,2014年12月替代520 240GB)
主存储:8*Toshiba DT01ACA300 3TB RAID6(2016年12月替代12*Seagate ST2000DL003 2TB RAID6+热备,2016年4月添加3个ST2000DL003)
备存储:2*Seagate ST2000DL003 2TB JBOD(被替代后留作备用)装在一个光驱位2转3热插拔笼子里

硬件上距离究极体需要补的“洞”还有RMM4独立网口(就是一个独立千兆IPMI口)、TPM模块(国内没得卖)、PS_AUX(PMBus,用来管理热插拔电源的,以后可以考虑弄)这些了。

这套硬件配置,个人认为已经不比很多只有单CPU的低端双路服务器差了(E5-2607v3/v4+2*4GB DDR4的机器很多很多),虽然硬件比较老了,但功能上比那些品牌服务器强大太多。这3年多的使用时间也只发生过2次硬盘故障,RAS方面也是完全过得去的。唯二的缺点就是不支持热插拔(硬盘、电源和风扇)、硬盘也是普通桌面级(但低端服务器也就是这级别的货色)。

软件上并没有实质变化,就是加了万兆网卡以后重新分配了一下网卡。
万兆网卡连接VM LAN网络,对外直接连日用主机;82574L改为连接VM WAN网络,对外连光猫,同时IPMI管理口也在它上面;82579LM作为临时用,暂时闲置。
这一周对万兆网卡进行测试的时候发现,两端都是Windows系统,传输速度到万兆没有问题。
但在ESXi环境下,测试日用主机到虚拟机时,上行速度只有3Gb/s,下行有7Gb/s。
虚拟机之间可以达到8Gb/s。所以应该还是有ESXi网络方面的设置需要调整。
至于iKVM,我一直说这就跟SSD和热插拔一样是让人上瘾的东西,远程设置BIOS、配RAID、装系统不能再方便。不过现在已经有ESXi的环境,本身就是个KVM,所以难以充分发挥iKVM的方便。

到此,自用服务器硬件方面的改造就告一段落了。可以看到这3年间我不断新加、替换了不少东西。其中一些是因为需求而为,一些是降价了所以买买买,还有一些是功课做够了可以上手去试。很多的时候想法很美好,但事实上往往会抓瞎。就像之前混刷IT固件、玩NMR卡,还有这次万兆网卡的事,我预期会距离10Gbps有一定距离,毕竟要走一个软件虚拟交换机,但没想到连一半都没有,虽然即使这样也足以满足需求。当然,这也留下了下一步的折腾空间。




其他的事

本来计划是要买新的日用主机用来配套万兆网卡,因为目前日用主机的第二个PCIe x16插槽坏了,之前测试高科技转接线和Micron 7100 SSD都只能拆掉第一个PCIe x16的显卡才能做的。于是从今年1月通过预算后就一直在等主板、CPU、内存有货。但直到这个月要执行之前才发现,7代i3不带ECC,真是经验主义(差点)害死人。所以买新电脑的计划暂时搁置。

更气人(?)的是,此前一年都处于“死亡”状态的第二个PCIe x16插槽,又突然活过来了。

最后感谢Intel和ASRock,暂时为我省了几千¥,Z77+i5 3470再战多少年我不知道,总之我没有性能上的需求。

作者: overthink    时间: 2017-4-30 21:05
本帖最后由 overthink 于 2017-4-30 21:07 编辑

T2是双口的吧?在网络里只看到一个……
自己搞服务器可以按这个来了。 二级精华 @石头

作者: nighttob    时间: 2017-4-30 21:13
overthink 发表于 2017-4-30 21:05
T2是双口的吧?在网络里只看到一个……
自己搞服务器可以按这个来了。 二级精华 @石头
...

是T1
从上到下都是T1

虽然设备名是-AT2

作者: overthink    时间: 2017-4-30 21:18
nighttob 发表于 2017-4-30 21:13
是T1
从上到下都是T1

看到T2.还以为是双口的, 整个 拓扑是怎么接的? 台机T1和ESXi T1直连?   


作者: nighttob    时间: 2017-4-30 21:25
overthink 发表于 2017-4-30 21:18
看到T2.还以为是双口的, 整个 拓扑是怎么接的? 台机T1和ESXi T1直连?   

...

对,2个10Gb直连
现在连个1Gb交换机都没上,直接用光猫做100M交换+wifi

原本计划是10Gb只走Files,连外网和控制走100M
要实现起来也不难,但实施的时候犯懒,也不是十分必要

作者: az6338890    时间: 2017-5-1 00:03
七代i3不支持ecc了吗,我都没注意

作者: nighttob    时间: 2017-5-1 00:12
az6338890 发表于 2017-5-1 00:03
七代i3不支持ecc了吗,我都没注意

pentium支持,i3不支持

作者: wxlg1117    时间: 2017-5-1 02:43
路由我喜欢最近开始折腾的openwrt分支LEDE for X86版本

作者: 无心飘落    时间: 2017-5-1 10:31
精选文章啊,感谢分享
作者: NOIP117    时间: 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少,不过没合适的交换机可用是最大问题。
作者: Asuka    时间: 2017-5-1 16:10
哇塞 感觉认识这台server好久了的感觉  终于完成了   恭喜
作者: nighttob    时间: 2017-5-1 16:41
10Gb网的问题暂时解决
解决方案是全新安装了一个esxi6.5
但我认为肯定不是6.0或者6.5的差别,肯定是之前的系统有过什么设置,只是我不知道

作者: overthink    时间: 2017-5-1 21:33
wxlg1117 发表于 2017-5-1 02:43
路由我喜欢最近开始折腾的openwrt分支LEDE for X86版本

这个FOR X86的能挂SS么?

作者: wxlg1117    时间: 2017-5-1 21:48
overthink 发表于 2017-5-1 21:33
这个FOR X86的能挂SS么?
  1. 1. 64位4.9.20内核,4G以上内存和多核心支持,多核NAT
  2. 2. Intel自动省电降频,自动睿频,AES指令集加速,超线程支持
  3. 3. 集成MTK RTL usb无线网卡驱动
  4. 4. 默认advancedtomato主题,集成material、bootstrap满足个性化需求
  5. 5. 集成常用软件:S^S、kcptun、广告过滤koolproxy、adbyby、Ngrok、SoftEthervpn、webshell、dnspod、aliddns、cloudxns、aria2、硬盘自动休眠、单wan多拨、多线负载均衡、多ISP策略路由、USB打印服务器、家长管理、miniDlna、定时唤醒、百度网盘同步、行为控制。。。
  6. 6. IPV6支持、石像鬼QOS
复制代码
套用发布者介绍,最新U12版本我用在我们开发组的二级路由上,开s s透明代理很给力,运行几个星期没崩溃了


作者: Apache    时间: 2017-5-1 22:41
机箱的硬盘位真多,干这个用真是个好箱

作者: miao656963    时间: 2017-5-2 12:49
本帖最后由 miao656963 于 2017-5-2 12:52 编辑

我也是这么干的,10G双口直连,用于虚拟机内部网络,对外用千兆网卡。

作者: dogbear    时间: 2017-5-2 18:21
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么?稳定不折腾的。

killer太折腾人了
作者: nighttob    时间: 2017-5-2 18:22
dogbear 发表于 2017-5-2 18:21
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么?稳定不折腾的。

killer太折腾人了 ...

intel和bcm的随便买
MIH的也无所谓

作者: overthink    时间: 2017-5-2 19:29
wxlg1117 发表于 2017-5-1 21:48
套用发布者介绍,最新U12版本我用在我们开发组的二级路由上,开s s透明代理很给力,运行几个星期没崩溃了

...

不错,有空试试这个

作者: overthink    时间: 2017-5-2 19:31
NOIP117 发表于 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少,不过没合适的交换机可用是最大问题。

和楼主一样,搞直连啊

作者: tokimemo    时间: 2017-5-4 01:07
本帖最后由 tokimemo 于 2017-5-4 01:10 编辑

网络问题你可以尝试打开SR-IOV把VF直接透给GUEST

AAXRMS你这个型号我没找到, 能不能给个购买连接
RMM4那个网卡是RTL的其实没什么意义,我玩过几次就拆下来放一边了,用他还多浪费我交换机一个端口


作者: 红色狂想    时间: 2017-5-4 18:38
功夫不负有心人,3年的折腾,仓库盘堆叠密不透风,现在终于圆满了。下一步浪费人生之下一代个人用服务器(Gen.3)构建规划走起。。。

这里请教一下,怎样用psping命令在局域网中测试两台PC之间的网速贷款呢?我一直在寻找局域网中方面测试传输速率的好用工具
作者: 红色狂想    时间: 2017-5-4 19:43
NOIP117 发表于 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少,不过没合适的交换机可用是最大问题。

手里囤这么多, 出我两块呗  万兆网卡还要啥交换机,不都是双机直连吗?
作者: NOIP117    时间: 2017-5-4 20:05
红色狂想 发表于 2017-5-4 19:43
手里囤这么多, 出我两块呗  万兆网卡还要啥交换机,不都是双机直连吗? ...

多设备的话肯定需要交换设备的,两个设备就无所谓了。


作者: haierccc    时间: 2017-5-4 20:38
本帖最后由 haierccc 于 2017-5-4 20:40 编辑

这个必须赞!我正在学ESXi,学会了再看~!

作者: 红色狂想    时间: 2017-5-4 21:01
NOIP117 发表于 2017-5-4 20:05
多设备的话肯定需要交换设备的,两个设备就无所谓了。

家庭环境,能跑万兆的设备也只有PC服务器了吧,哪有那么多设备。
作者: nighttob    时间: 2017-5-7 19:49
tokimemo 发表于 2017-5-4 01:07
网络问题你可以尝试打开SR-IOV把VF直接透给GUEST

AAXRMS你这个型号我没找到, 能不能给个购买连接

是我打错了,AXXRMS2AF080
http://ark.intel.com/products/54 ... Module-AXXRMS2AF080
我是在ebay上面买的二手货

网络问题已经解决了,虽然我还不到成因
SR-IOV我考虑过,但需要有万兆连接的虚机至少2个,这样用不方便

我也认为一个单独的RMM管理口没必要,现在也没有用千兆交换机,直接NC-SI的方式用82574L也很合适,就是USB重定向的时候只有100M略慢
不过这次装ESXi6.5就是远程挂载安装的,也没觉得慢多少,毕竟板载也只有USB2.0


作者: tokimemo    时间: 2017-5-8 00:28
nighttob 发表于 2017-5-7 19:49
是我打错了,AXXRMS2AF080
http://ark.intel.com/products/54561/Intel-Integrated-Server-RAID-Module-A ...

换了RMM4的网络卡也是最高100M,不会变快,这个是目前iKVM的极限了, 其他的超微还有ASROCK 那些也一样
SR-IOV 的VF数量你可以自己设置的, 只是一般不建议开太多
VF基本相当于一个独立PCI设备可以直通给GUEST


作者: nighttob    时间: 2017-5-8 08:42
tokimemo 发表于 2017-5-8 00:28
换了RMM4的网络卡也是最高100M,不会变快,这个是目前iKVM的极限了, 其他的超微还有ASROCK 那些也一样
SR-I ...

VF只在刀片的emulex卡上接触过,其他家的不熟
不管怎么直通都会损失一定的虚拟机弹性,特别是我这有一个需要经常快照的,所以用SR-IOV不太适合

作者: XXHJACK    时间: 2017-5-8 08:57
exsi的网络问题是无解的,学校一台350ml装的hp oem 6.0单机,在我这边下载管理客户端速度杠杠的7-8m的速度,拿到另一个校区什么设置都没做,下载客户端速度只有10多k,解决不了........好在内部的虚拟机网速都是正常的,我也是无语。
作者: kknd1928    时间: 2017-5-10 16:14
本帖最后由 kknd1928 于 2017-5-10 16:28 编辑

"日用主机到虚拟机", 日用主机是实体机吧?网络数据传输测试时巨型帧(MTU)开了没?

最近测试iSCSI的时候发现iSCSI性能低下是没有开启网卡的巨型帧选项。

无线网卡基本上没有巨型帧选项的,iSCSI慢成狗,几乎不能用。5G网络 3MiB/s 上传。
作者: nighttob    时间: 2017-5-10 16:57
kknd1928 发表于 2017-5-10 16:14
"日用主机到虚拟机", 日用主机是实体机吧?网络数据传输测试时巨型帧(MTU)开了没?

最近测试iSCSI的时候发 ...

MTU我改过,但是没区别
没开巨帧之前iSCSI确实慢成狗,但我目前没这个需求

作者: keepalive    时间: 2017-5-18 09:55
我现在的初步想法是分开弄两套,弄个了个小stx做下载机和软路由再弄个nas把存储独立出来后面发现硬盘和内存配下来太贵了,现在就跑起来下载机。




欢迎光临 PCEVA,PC绝对领域,探寻真正的电脑知识 (https://bbs.pceva.com.cn/) Powered by Discuz! X3.2