64个节点的cluster怎么组网

fkengun · 发表于 2016-2-2 10:41

现在实验室有一个64个节点的cluster 之前的组网方案是用三个48口的交换机每台交换机管理22台机器（每台机器有两个网口一个是数据一个是管理控制）三台交换机互联
现有的交换机是最大1Gbps上行和下行这就意味着当两个节点分处两台交换机内网时带宽被限制在1Gbps 而且相同的连接越多带宽会进一步降低
这样使得整个cluster被切分成三个小的cluster

现在的升级目标是如何能够尽可能多的减少这种交换机间的瓶颈从而能够支持更多的节点跨交换机访问
可以确定的是管理控制网口可以取消不用并有四个节点已损坏所以总共的网络接口数量是60
暂定的升级目标是买两台有10Gbps上行带宽的交换机一台24口一台48口这样一共72口满足需求
交换机的行情价主要参考美亚 Netgear的比较便宜 24口的500刀 48口的900刀

请问大家还有没有更加合理的升级方案以满足带宽需求和降低开销为目标谢谢

espflykite · 发表于 2016-2-2 10:55

2台48口，互联用2个10GE绑定
甚至可以买有4个10GE口的型号

不过交换机除了GE、10GE还有一个指标是包处理速率

如果你的节点间沟通是大包为主就没事
小包可能就会有些问题

交换机都是越贵，包处理能力越强的吧。。。。

fkengun · 发表于 2016-2-2 11:22

espflykite 发表于 2016-2-2 10:55
2台48口，互联用2个10GE绑定
甚至可以买有4个10GE口的型号

多谢回复
买有两个10GbE绑定的意思应该说连两根线这样有20Gb的带宽是吧
我现在考虑的主要就是价格因素不知道能不能找到比一台24+一台48总价钱低的方案
10Gb的连接基本够用了全部节点同时发包的情况不多
关于包处理速度 Netgear GS728TX这一款没有查到只查到一个128Gbps的bandwidth performance
这个cluster的应用场景主要是IO实验包应该不会多到大于这个performance 所以不需要考虑这部分
不知道还有没有别的建议

lgg_wd_2 · 发表于 2016-2-2 11:38

万兆上联口如果再能做链路聚合就更好了，不过万兆模块一般价格不低

fkengun · 发表于 2016-2-2 11:43

lgg_wd_2 发表于 2016-2-2 11:38
万兆上联口如果再能做链路聚合就更好了，不过万兆模块一般价格不低

多谢提醒
小弟对交换机完全不懂不知能否帮忙查询一下Netgear GS728TX是否支持你所说的上行链路聚合
谢谢

espflykite · 发表于 2016-2-2 14:21

本帖最后由 espflykite 于 2016-2-2 14:24 编辑

不错的选择，刚才去查了一下GS728TX，又名S3300-28X，提供2个光纤插口和2个电插口，那就不需要额外投资就可以组成20G的互联带宽
而且这款交换机还是支持堆叠的
支持堆叠比单纯链路聚合应该说更好些
不过要实现堆叠可能似乎要额外花钱吧？
反正20G的链路聚合是肯定能实现了

fkengun · 发表于 2016-2-2 14:47

espflykite 发表于 2016-2-2 14:21
不错的选择，刚才去查了一下GS728TX，又名S3300-28X，提供2个光纤插口和2个电插口，那就不需要额外投资就可 ...

多谢指点我在看完手册之后还是没有搞的很清楚堆叠的意义
另外请问为什么堆叠比单纯链路聚合要好请指教

lgg_wd_2 · 发表于 2016-2-2 15:44

本帖最后由 lgg_wd_2 于 2016-2-2 15:52 编辑

堆叠一般厂商都分成虚拟堆叠和物理堆叠，虚拟堆叠以前见过的是堆叠带宽到20G，物理堆叠一般是环形堆叠和菊花链堆叠，可以到40G带宽，不知道现在有没有提高带宽性能。不过物理堆叠需要额外的堆叠线缆，成本略高。虚拟堆叠的话，看厂商软件做的怎么样了，可以试试，更倾向于物理堆叠。找集成商或者厂家技术人员调试会更安全。
标准网管交换机及以上功能设备，一般支持虚拟和物理堆叠，性能更弱的一般只支持到虚拟堆叠。你这台设备好像是准三层交换机，最好给厂家打电话问问支持哪种堆叠。如果不想再投钱，可以先试试虚拟堆叠。

NOIP117 · 发表于 2016-2-3 22:26

本帖最后由 NOIP117 于 2016-2-3 23:46 编辑

lgg_wd_2 发表于 2016-2-2 11:38
万兆上联口如果再能做链路聚合就更好了，不过万兆模块一般价格不低

我们机房里华为的10G模块一对就是1万吧

lgg_wd_2 · 发表于 2016-2-3 22:57

NOIP117 发表于 2016-2-3 22:26
我们机房里话费的10G模块一对就是1万吧

一般的单位还真不舍得用10G模块

NOIP117 · 发表于 2016-2-3 23:47

lgg_wd_2 发表于 2016-2-3 22:57
一般的单位还真不舍得用10G模块

一般上联用万兆或者多个千兆聚合，正常用都是千兆甚至百兆

XXHJACK · 发表于 2016-2-13 10:53

先问下楼主，你原始方案有什么问题吗？仅仅只是上、下行带宽不足？客户端每个都是1000m吗？

sifebr · 发表于 2016-3-5 13:15

为什么要买三台？买一台9303之类的不好么，线卡间靠背板互联可以实现全线速转发。

xudaiqing · 发表于 2016-3-5 21:48

本帖最后由 xudaiqing 于 2016-3-5 21:54 编辑

UBNT EdgeSwitch ES-48-Lite * 2 如果是新的这应该是比较便宜的方案了，国内大概3000一台。
http://www.ubnt.com.cn/edgemax/edgeswitch-lite/(注意只有48口才有10g)

Netgear那款还不如选Dell X1052或者hp/h3c/华为的对应机子。
dell 5548如果能拿到正规的货的话也是个好选择。
管理接口可以单独组网。

fkengun · 发表于 2016-3-22 09:43

xudaiqing 发表于 2016-3-5 21:48
UBNT EdgeSwitch ES-48-Lite * 2 如果是新的这应该是比较便宜的方案了，国内大概3000一台。
http://www.ubn ...

非常感谢回帖
现在需求有变所以问题不存在了