PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

关于 MS Gen8 上万兆网卡拷贝文件时速度波动幅度过大的问题

[复制链接]
红色狂想 发表于 2021-2-23 22:55 | 显示全部楼层 |阅读模式
点击数:1197|回复数:17
本帖最后由 红色狂想 于 2021-2-23 22:55 编辑

16年海淘了一台HP ProLiant MicroServer Gen8,一直没时间折腾,想着今年年终抽点时间把NAS搭建好,仓库盘什么的也都早准备好了,就缺个万兆网卡,所以春节前买了Supermicro AOC-STG-I2T,详见这篇帖子:http://bbs.pceva.com.cn/thread-148405-1-1.html

到手上机一切顺利,通过网络跳线与之前那台HP Z230 SSF工作站上的HP Ethernet 10Gb 2-port 561T Adapter直连,链路速度自动协商为10.00 Gbps 全双工








在主机两端分别用命令行 PSTools>psping -b -l 1048576 -n 105000 192.168.11.14:139 对端口带宽进行测试,结果为9.9 Gbps,曲线平滑,基本跑满了万兆
-b 代表将进行带宽测试
-l  1500代表使用大小1500Bytes的数据包
-n 15000代表使用15000个数据包






以下是从两端分别拷贝单个大文件时的实际表现,两台主机的存储环境配置如下:

MS Gen8 板载软阵列 HP Dynamic Smart Array B120i Controller
单盘 RAID 0 Intel SSD Pro 1500 Series 180G 系统盘
单盘 RAID 0 HGST HUS726060ALE610 6T 企业级数据盘
OS Windows Server 2016

HP Z230 工作站 Intel(R) 8 Series/C220 Chipset Family SATA AHCI Controller
SATA 0 HPE Intel SSD S4600 1.9T 系统盘
SATA 2 HP HDD MB4000GEQNH 4T 企业级数据盘
SATA 3 HP HDD MB4000GEQNH 4T 企业级数据盘
OS Windows Server 2019

首先是从MS Gen8的SSD复制文件到HP Z230的SSD,可以看出基本跑满了磁盘I/O的带宽



但不知什么原因,从HP Z230的SSD复制文件到MS Gen8的SSD,速度慢的像HDD机械盘,是Intel Pro 1500写入性能就这样,还是MS Gen8板载软阵列B120i驱动兼容性问题?



同样是从HP Z230复制文件到MS Gen8,机械盘到机械盘的速度却能达到200 MB/s,曲线也比较平滑,只不过从另一个数据盘测试看又有所下降,而且从固态盘复制文件到机械盘,速度波动幅度很大





这是从MS Gen8数据盘复制文件到HP Z230数据盘的测试图,可以看出已经跑满了HDD机械盘的I/O带宽,表现正常



可奇怪的是,如果用千兆网卡双机直连对拷文件,速度都能跑满1.0 Gbps,详见下图:

从HP Z230的HDD复制文件到MS Gen8的SSD,可见曲线非常平滑笔直,完全不像以上万兆网卡下的样子



从HP Z230的HDD复制文件到MS Gen8的HDD



总的来说,从MS Gen8复制文件到HP Z230是曲线波动变化最小的,下图就是从MS Gen8数据盘复制两部电影到HP Z230数据盘的表现




最让我百思不得其解的是,以上所描述的从HP Z230复制文件到MS Gen8的操作方式是先在MS Gen8系统上创建一个具有读写权限的用户账户,然后再在HP Z230系统环境下通过Windows资源管理器登录这个账户,直接复制粘贴的文件

可同样是类似的操作,不同之处是复制粘贴的过程改成在MS Gen8系统环境下,通过Windows资源管理器访问HP Z230的共享目录,将文件拷贝到指定目录下。但就是这种操作,如果走的是万兆网卡,曲线波动幅度会非常大,传输速度在35~198 MB/s之间反复波动,且大部分时间维持在30 MB/s左右,详见下图:



如果换成走千兆网卡,则传输速度表现得又非常平稳,基本跑满了千兆带宽,详见下图:



而且如果将Supermicro AOC-STG-I2T万兆网卡降速协商为千兆模式,对拷文件时立刻就能像上面一样跑满1.0 Gbps,且速度稳定曲线平滑笔直,详见下图:



@杰迪武士 @eterfinity 以上这种情况大家有没有遇到过,是否可以确定和网卡链路无关,是HP Dynamic Smart Array B120i Controller驱动兼容性问题

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
杰迪武士 发表于 2021-2-24 10:17 | 显示全部楼层
我一般称之为:SMB的不解之谜,也从没费心费力去研究过这个问题,就是凑合着用
红色狂想  楼主| 发表于 2021-2-24 16:16 | 显示全部楼层
杰迪武士 发表于 2021-2-24 10:17
我一般称之为:SMB的不解之谜,也从没费心费力去研究过这个问题,就是凑合着用 ...

看来不搞企业级整套解决方案就无法做到各方面都完美,只能凑合着用了
DoctorX99 发表于 2021-2-24 23:16 | 显示全部楼层
QNAP的表示没有问题,不过就算是加了NVME SSD做读写缓存也就只能跑600-700MB/S,跑不满万兆
红色狂想  楼主| 发表于 2021-2-24 23:54 | 显示全部楼层
DoctorX99 发表于 2021-2-24 23:16
QNAP的表示没有问题,不过就算是加了NVME SSD做读写缓存也就只能跑600-700MB/S,跑不满万兆 ...

600~700 MB/s也知足了,实际应用中也没有那么大的吞吐量需求,等回头我再试试在RAID 0/10下的表现……
DoctorX99 发表于 2021-2-25 08:53 | 显示全部楼层
红色狂想 发表于 2021-2-24 23:54
600~700 MB/s也知足了,实际应用中也没有那么大的吞吐量需求,等回头我再试试在RAID 0/10下的表现……{:1 ...

不过奇怪的事情还是有的,万兆那个口用手机下载的话跑不到千兆,千兆口的反而能跑满,但这个我没有太在意就是了,毕竟手机能跑满千兆已经难得
来自安卓客户端来自安卓客户端
红色狂想  楼主| 发表于 2021-2-25 15:34 | 显示全部楼层
DoctorX99 发表于 2021-2-25 08:53
不过奇怪的事情还是有的,万兆那个口用手机下载的话跑不到千兆,千兆口的反而能跑满,但这个我没有太在意 ...

你在手机上测万兆是测的网络带宽还是文件I/O?
DoctorX99 发表于 2021-2-25 18:46 | 显示全部楼层
红色狂想 发表于 2021-2-25 15:34
你在手机上测万兆是测的网络带宽还是文件I/O?

就下载文件啊,视频文件,就跑到80M左右,千兆口能有100+
来自安卓客户端来自安卓客户端
DoctorX99 发表于 2021-2-27 11:02 | 显示全部楼层
红色狂想 发表于 2021-2-25 15:34
你在手机上测万兆是测的网络带宽还是文件I/O?

当然不排除我的路由有问题,事实上我打算年后送修的
来自安卓客户端来自安卓客户端
红色狂想  楼主| 发表于 2021-2-27 15:32 | 显示全部楼层
DoctorX99 发表于 2021-2-27 11:02
当然不排除我的路由有问题,事实上我打算年后送修的

哪款路由器呀,还用修,华硕八脚怪GT-AC5300吗,啥毛病?
eterfinity 发表于 2021-2-28 04:31 | 显示全部楼层
本帖最后由 eterfinity 于 2021-2-28 04:51 编辑

问题的原因一般都是特别低级且想不到的东西,请相信每一个问题都是人为设置的:
建议这么做:
1  你的z230使用双网口与g8双网口直连, 其中一个口设置ipv4地址禁用ipv6  另一个口禁用ipv4只启用ipv6
2  你的z230使用双网口与g8双网口直连, 其中都只设置同一网段的ipv4地址禁用ipv6
3  在2的基础上,改直连为千兆电口交换机,观察曲线是否能平稳
4  在2的基础上,改直连为万兆电口交换机,观察曲线能否平稳超越2千兆
5  在4或3的基础上,拔掉z230的一根网线,剩余的一个网口启用ipv6
6  莫装hp网卡驱动
7  莫装b120i的缓存驱动,也就是刚装完系统后带问号的驱动
8  改成ahci试试
9  对调2张卡的安装位置
10  换用玄学电源线与玄学插头插尾供电
11  互相挂载多路径iscsi target , 用iometer跑跑
你一定会发现问题的原因,和没有上全套企业级完全没有正面关系。
ps : 还是100元的MLNX卡香





DoctorX99 发表于 2021-2-28 11:04 | 显示全部楼层
红色狂想 发表于 2021-2-27 15:32
哪款路由器呀,还用修,华硕八脚怪GT-AC5300吗,啥毛病?

华硕那种贵上天的路由我是没钱买的,是QNAP-Qhora 301W,千兆口做WAN无线速率不正常,有线也不稳定,还丢包,本来以为是固件问题,但新年前排查了一下可能是硬件问题
来自安卓客户端来自安卓客户端
Ramaxel 发表于 2021-3-3 23:52 | 显示全部楼层
你前一个帖子我回了
我买的惠普备件
大机器买了个AQC107,更新了最新固件
反正俩机器之间传蓝光,900M左右
没开巨帧,6类线直连
DoctorX99 发表于 2021-3-10 23:31 | 显示全部楼层
Ramaxel 发表于 2021-3-3 23:52
你前一个帖子我回了
我买的惠普备件
大机器买了个AQC107,更新了最新固件

羡慕,我这边加了SSD缓存也就700左右,这么说其实巨型帧不开也可以咯
来自安卓客户端来自安卓客户端
Ramaxel 发表于 2021-3-12 12:27 | 显示全部楼层
DoctorX99 发表于 2021-3-10 23:31
羡慕,我这边加了SSD缓存也就700左右,这么说其实巨型帧不开也可以咯

我感觉主要还是看SSD吧
下载机是个S11Pro缓存用完了就拉到了
大机器是750,全程随便霍霍
我基本都复制蓝光,几十G的那种
碎片文件,速度也不行
DoctorX99 发表于 2021-3-12 14:12 | 显示全部楼层
Ramaxel 发表于 2021-3-12 12:27
我感觉主要还是看SSD吧
下载机是个S11Pro缓存用完了就拉到了
大机器是750,全程随便霍霍

昨晚试了,关巨型帧的话只能到460左右,NAS是QNAP TS-473,X540加SM961 512G我感觉就是机器性能问题,算了,能跑700也满足了,毕竟以NAS那种辣鸡配置来说要求不能太高
来自安卓客户端来自安卓客户端
Ramaxel 发表于 2021-3-12 18:13 | 显示全部楼层
DoctorX99 发表于 2021-3-12 14:12
昨晚试了,关巨型帧的话只能到460左右,NAS是QNAP TS-473,X540加SM961 512G我感觉就是机器性能问题,算 ...

我机器也挺老的
主机I7 6700K
下载机是奔腾的啥玩意,我都记不住了

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
DoctorX99 发表于 2021-3-14 23:28 | 显示全部楼层
Ramaxel 发表于 2021-3-12 18:13
我机器也挺老的
主机I7 6700K
下载机是奔腾的啥玩意,我都记不住了

反正台式机再怎么弱都比NAS强
来自安卓客户端来自安卓客户端
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部