PCEVA,PC绝对领域,探寻真正的电脑知识
打印 上一主题 下一主题
开启左侧

自用服务器·完全体

[复制链接]
跳转到指定楼层
1#
nighttob 发表于 2017-4-30 12:46 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
点击数:2544|回复数:32
本帖最后由 nighttob 于 2017-5-7 19:44 编辑

随着前不久万兆网卡和RMM4 key的添置,我的自用服务器也终于进化成了完全体,从初装(基于ESXi的家用多功能服务器初建成)到现在历时3年多。

何为完全体,看图说话。


机箱:NZXT Source 210(原装)
电源:Antec Neo ECO 450M(2016年7月替代Antec Nec ECO 450)
机箱散热:1*机箱标配,3*SFF-21E(原来有4个,这回去掉了一个)
CPU散热:2代i3盒装风扇(原装)
CPU:Intel Xeon E3-1230v2(原装)
内存:2*4GB KST DDR3-1600 UECC(原装)+2*4GB KST DDR3-1333 UECC(2015年9月添加)
PCI Slot #6:AMD Radeon 6450 1GB(原装)
PCI Slot #5:LSI MegaRAID SAS 9260-8i(原装,2016年4月到7月之间短暂替换过Nytro MegaRAID SAS 8110-4i+Intel RES2CV240 SAS Expander)
PCI Slot #4:Intel X540-T1(2017年4月添加)
PCI Slot #3:sTec s1120 980GB SSA(2014年12月添加)
PCI Slot #1:NEC USB2.0扩展卡(2014年12月添加)
SAS Mezzanine:AXXRMS2AF080(2016年1月添加)
RMM4 Lite Key(2017年4月添加)
系统盘:8GB Toshiba USB2.0 U盘(2016年1月替代X25-E 32GB,2015年2月替代X25-M G2 80GB,2014年12月替代520 240GB)
主存储:8*Toshiba DT01ACA300 3TB RAID6(2016年12月替代12*Seagate ST2000DL003 2TB RAID6+热备,2016年4月添加3个ST2000DL003)
备存储:2*Seagate ST2000DL003 2TB JBOD(被替代后留作备用)装在一个光驱位2转3热插拔笼子里

硬件上距离究极体需要补的“洞”还有RMM4独立网口(就是一个独立千兆IPMI口)、TPM模块(国内没得卖)、PS_AUX(PMBus,用来管理热插拔电源的,以后可以考虑弄)这些了。

这套硬件配置,个人认为已经不比很多只有单CPU的低端双路服务器差了(E5-2607v3/v4+2*4GB DDR4的机器很多很多),虽然硬件比较老了,但功能上比那些品牌服务器强大太多。这3年多的使用时间也只发生过2次硬盘故障,RAS方面也是完全过得去的。唯二的缺点就是不支持热插拔(硬盘、电源和风扇)、硬盘也是普通桌面级(但低端服务器也就是这级别的货色)。

软件上并没有实质变化,就是加了万兆网卡以后重新分配了一下网卡


万兆网卡连接VM LAN网络,对外直接连日用主机;82574L改为连接VM WAN网络,对外连光猫,同时IPMI管理口也在它上面;82579LM作为临时用,暂时闲置。


这一周对万兆网卡进行测试的时候发现,两端都是Windows系统,传输速度到万兆没有问题。感谢 @kknd1928 提供的工具。


但在ESXi环境下,测试日用主机到虚拟机时,上行速度只有3Gb/s,下行有7Gb/s。


虚拟机之间可以达到8Gb/s。所以应该还是有ESXi网络方面的设置需要调整。


至于iKVM,我一直说这就跟SSD和热插拔一样是让人上瘾的东西,远程设置BIOS、配RAID、装系统不能再方便。不过现在已经有ESXi的环境,本身就是个KVM,所以难以充分发挥iKVM的方便。

到此,自用服务器硬件方面的改造就告一段落了。可以看到这3年间我不断新加、替换了不少东西。其中一些是因为需求而为,一些是降价了所以买买买,还有一些是功课做够了可以上手去试。很多的时候想法很美好,但事实上往往会抓瞎。就像之前混刷IT固件、玩NMR卡,还有这次万兆网卡的事,我预期会距离10Gbps有一定距离,毕竟要走一个软件虚拟交换机,但没想到连一半都没有,虽然即使这样也足以满足需求。当然,这也留下了下一步的折腾空间。




其他的事

本来计划是要买新的日用主机用来配套万兆网卡,因为目前日用主机的第二个PCIe x16插槽坏了,之前测试高科技转接线和Micron 7100 SSD都只能拆掉第一个PCIe x16的显卡才能做的。于是从今年1月通过预算后就一直在等主板、CPU、内存有货。但直到这个月要执行之前才发现,7代i3不带ECC,真是经验主义(差点)害死人。所以买新电脑的计划暂时搁置。

更气人(?)的是,此前一年都处于“死亡”状态的第二个PCIe x16插槽,又突然活过来了。

最后感谢Intel和ASRock,暂时为我省了几千¥,Z77+i5 3470再战多少年我不知道,总之我没有性能上的需求。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

评分

参与人数 1代金券 +100 收起 理由
石头 + 100 2精

查看全部评分

2#
overthink 发表于 2017-4-30 21:05 | 只看该作者
本帖最后由 overthink 于 2017-4-30 21:07 编辑

T2是双口的吧?在网络里只看到一个……
自己搞服务器可以按这个来了。 二级精华 @石头
3#
nighttob  楼主| 发表于 2017-4-30 21:13 | 只看该作者
overthink 发表于 2017-4-30 21:05
T2是双口的吧?在网络里只看到一个……
自己搞服务器可以按这个来了。 二级精华 @石头
...

是T1
从上到下都是T1

虽然设备名是-AT2
4#
overthink 发表于 2017-4-30 21:18 | 只看该作者
nighttob 发表于 2017-4-30 21:13
是T1
从上到下都是T1

看到T2.还以为是双口的, 整个 拓扑是怎么接的? 台机T1和ESXi T1直连?   

5#
nighttob  楼主| 发表于 2017-4-30 21:25 | 只看该作者
overthink 发表于 2017-4-30 21:18
看到T2.还以为是双口的, 整个 拓扑是怎么接的? 台机T1和ESXi T1直连?   

...

对,2个10Gb直连
现在连个1Gb交换机都没上,直接用光猫做100M交换+wifi

原本计划是10Gb只走Files,连外网和控制走100M
要实现起来也不难,但实施的时候犯懒,也不是十分必要
6#
az6338890 发表于 2017-5-1 00:03 | 只看该作者
七代i3不支持ecc了吗,我都没注意
7#
nighttob  楼主| 发表于 2017-5-1 00:12 | 只看该作者
az6338890 发表于 2017-5-1 00:03
七代i3不支持ecc了吗,我都没注意

pentium支持,i3不支持
8#
wxlg1117 发表于 2017-5-1 02:43 | 只看该作者
路由我喜欢最近开始折腾的openwrt分支LEDE for X86版本
来自安卓客户端来自安卓客户端
9#
无心飘落 发表于 2017-5-1 10:31 | 只看该作者
精选文章啊,感谢分享
10#
NOIP117 发表于 2017-5-1 11:15 | 只看该作者
万兆光卡、电卡手里倒是有不少,不过没合适的交换机可用是最大问题。
11#
Asuka 发表于 2017-5-1 16:10 | 只看该作者
哇塞 感觉认识这台server好久了的感觉  终于完成了   恭喜
12#
nighttob  楼主| 发表于 2017-5-1 16:41 | 只看该作者
10Gb网的问题暂时解决
解决方案是全新安装了一个esxi6.5
但我认为肯定不是6.0或者6.5的差别,肯定是之前的系统有过什么设置,只是我不知道
13#
overthink 发表于 2017-5-1 21:33 | 只看该作者
wxlg1117 发表于 2017-5-1 02:43
路由我喜欢最近开始折腾的openwrt分支LEDE for X86版本

这个FOR X86的能挂SS么?
14#
wxlg1117 发表于 2017-5-1 21:48 | 只看该作者
overthink 发表于 2017-5-1 21:33
这个FOR X86的能挂SS么?
  1. 1. 64位4.9.20内核,4G以上内存和多核心支持,多核NAT
  2. 2. Intel自动省电降频,自动睿频,AES指令集加速,超线程支持
  3. 3. 集成MTK RTL usb无线网卡驱动
  4. 4. 默认advancedtomato主题,集成material、bootstrap满足个性化需求
  5. 5. 集成常用软件:S^S、kcptun、广告过滤koolproxy、adbyby、Ngrok、SoftEthervpn、webshell、dnspod、aliddns、cloudxns、aria2、硬盘自动休眠、单wan多拨、多线负载均衡、多ISP策略路由、USB打印服务器、家长管理、miniDlna、定时唤醒、百度网盘同步、行为控制。。。
  6. 6. IPV6支持、石像鬼QOS
复制代码
套用发布者介绍,最新U12版本我用在我们开发组的二级路由上,开s s透明代理很给力,运行几个星期没崩溃了

评分

参与人数 1绝对值 +1 收起 理由
overthink + 1 很给力!

查看全部评分

15#
Apache 发表于 2017-5-1 22:41 | 只看该作者
机箱的硬盘位真多,干这个用真是个好箱
来自安卓客户端来自安卓客户端
16#
miao656963 发表于 2017-5-2 12:49 | 只看该作者
本帖最后由 miao656963 于 2017-5-2 12:52 编辑

我也是这么干的,10G双口直连,用于虚拟机内部网络,对外用千兆网卡。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
17#
dogbear 发表于 2017-5-2 18:21 | 只看该作者
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么?稳定不折腾的。

killer太折腾人了
18#
nighttob  楼主| 发表于 2017-5-2 18:22 | 只看该作者
dogbear 发表于 2017-5-2 18:21
问一下TOB有什么双口万兆或4口千兆PCIE的网卡推荐么?稳定不折腾的。

killer太折腾人了 ...

intel和bcm的随便买
MIH的也无所谓
19#
overthink 发表于 2017-5-2 19:29 | 只看该作者
wxlg1117 发表于 2017-5-1 21:48
套用发布者介绍,最新U12版本我用在我们开发组的二级路由上,开s s透明代理很给力,运行几个星期没崩溃了

...

不错,有空试试这个
20#
overthink 发表于 2017-5-2 19:31 | 只看该作者
NOIP117 发表于 2017-5-1 11:15
万兆光卡、电卡手里倒是有不少,不过没合适的交换机可用是最大问题。

和楼主一样,搞直连啊
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部