关于 MS Gen8 上万兆网卡拷贝文件时速度波动幅度过大的问题

16年海淘了一台HP ProLiant MicroServer Gen8，一直没时间折腾，想着今年年终抽点时间把NAS搭建好，仓库盘什么的也都早准备好了，就缺个万兆网卡，所以春节前买了Supermicro AOC-STG-I2T，详见这篇帖子：http://bbs.pceva.com.cn/thread-148405-1-1.html

到手上机一切顺利，通过网络跳线与之前那台HP Z230 SSF工作站上的HP Ethernet 10Gb 2-port 561T Adapter直连，链路速度自动协商为10.00 Gbps 全双工








在主机两端分别用命令行 PSTools>psping -b -l 1048576 -n 105000 192.168.11.14:139 对端口带宽进行测试，结果为9.9 Gbps，曲线平滑，基本跑满了万兆
-b 代表将进行带宽测试
-l  1500代表使用大小1500Bytes的数据包
-n 15000代表使用15000个数据包






以下是从两端分别拷贝单个大文件时的实际表现，两台主机的存储环境配置如下：

MS Gen8 板载软阵列 HP Dynamic Smart Array B120i Controller
单盘 RAID 0 Intel SSD Pro 1500 Series 180G 系统盘
单盘 RAID 0 HGST HUS726060ALE610 6T 企业级数据盘
OS Windows Server 2016

HP Z230 工作站 Intel(R) 8 Series/C220 Chipset Family SATA AHCI Controller
SATA 0 HPE Intel SSD S4600 1.9T 系统盘
SATA 2 HP HDD MB4000GEQNH 4T 企业级数据盘
SATA 3 HP HDD MB4000GEQNH 4T 企业级数据盘
OS Windows Server 2019

首先是从MS Gen8的SSD复制文件到HP Z230的SSD，可以看出基本跑满了磁盘I/O的带宽



但不知什么原因，从HP Z230的SSD复制文件到MS Gen8的SSD，速度慢的像HDD机械盘，是Intel Pro 1500写入性能就这样，还是MS Gen8板载软阵列B120i驱动兼容性问题？



同样是从HP Z230复制文件到MS Gen8，机械盘到机械盘的速度却能达到200 MB/s，曲线也比较平滑，只不过从另一个数据盘测试看又有所下降，而且从固态盘复制文件到机械盘，速度波动幅度很大





这是从MS Gen8数据盘复制文件到HP Z230数据盘的测试图，可以看出已经跑满了HDD机械盘的I/O带宽，表现正常



可奇怪的是，如果用千兆网卡双机直连对拷文件，速度都能跑满1.0 Gbps，详见下图：

从HP Z230的HDD复制文件到MS Gen8的SSD，可见曲线非常平滑笔直，完全不像以上万兆网卡下的样子



从HP Z230的HDD复制文件到MS Gen8的HDD



总的来说，从MS Gen8复制文件到HP Z230是曲线波动变化最小的，下图就是从MS Gen8数据盘复制两部电影到HP Z230数据盘的表现




最让我百思不得其解的是，以上所描述的从HP Z230复制文件到MS Gen8的操作方式是先在MS Gen8系统上创建一个具有读写权限的用户账户，然后再在HP Z230系统环境下通过Windows资源管理器登录这个账户，直接复制粘贴的文件

可同样是类似的操作，不同之处是复制粘贴的过程改成在MS Gen8系统环境下，通过Windows资源管理器访问HP Z230的共享目录，将文件拷贝到指定目录下。但就是这种操作，如果走的是万兆网卡，曲线波动幅度会非常大，传输速度在35~198 MB/s之间反复波动，且大部分时间维持在30 MB/s左右，详见下图：



如果换成走千兆网卡，则传输速度表现得又非常平稳，基本跑满了千兆带宽，详见下图：



而且如果将Supermicro AOC-STG-I2T万兆网卡降速协商为千兆模式，对拷文件时立刻就能像上面一样跑满1.0 Gbps，且速度稳定曲线平滑笔直，详见下图：



@杰迪武士 @eterfinity 以上这种情况大家有没有遇到过，是否可以确定和网卡链路无关，是HP Dynamic Smart Array B120i Controller驱动兼容性问题

我一般称之为：SMB的不解之谜，也从没费心费力去研究过这个问题，就是凑合着用

杰迪武士 发表于 2021-2-24 10:17
我一般称之为：SMB的不解之谜，也从没费心费力去研究过这个问题，就是凑合着用 ...

看来不搞企业级整套解决方案就无法做到各方面都完美，只能凑合着用了

QNAP的表示没有问题，不过就算是加了NVME SSD做读写缓存也就只能跑600-700MB/S，跑不满万兆

DoctorX99 发表于 2021-2-24 23:16
QNAP的表示没有问题，不过就算是加了NVME SSD做读写缓存也就只能跑600-700MB/S，跑不满万兆 ...

600~700 MB/s也知足了，实际应用中也没有那么大的吞吐量需求，等回头我再试试在RAID 0/10下的表现……

红色狂想 发表于 2021-2-24 23:54
600~700 MB/s也知足了，实际应用中也没有那么大的吞吐量需求，等回头我再试试在RAID 0/10下的表现……{:1 ...

不过奇怪的事情还是有的，万兆那个口用手机下载的话跑不到千兆，千兆口的反而能跑满，但这个我没有太在意就是了，毕竟手机能跑满千兆已经难得

DoctorX99 发表于 2021-2-25 08:53
不过奇怪的事情还是有的，万兆那个口用手机下载的话跑不到千兆，千兆口的反而能跑满，但这个我没有太在意 ...

你在手机上测万兆是测的网络带宽还是文件I/O？

红色狂想 发表于 2021-2-25 15:34
你在手机上测万兆是测的网络带宽还是文件I/O？

就下载文件啊，视频文件，就跑到80M左右，千兆口能有100+

红色狂想 发表于 2021-2-25 15:34
你在手机上测万兆是测的网络带宽还是文件I/O？

当然不排除我的路由有问题，事实上我打算年后送修的

DoctorX99 发表于 2021-2-27 11:02
当然不排除我的路由有问题，事实上我打算年后送修的

哪款路由器呀，还用修，华硕八脚怪GT-AC5300吗，啥毛病？

问题的原因一般都是特别低级且想不到的东西，请相信每一个问题都是人为设置的：
建议这么做：
1  你的z230使用双网口与g8双网口直连， 其中一个口设置ipv4地址禁用ipv6  另一个口禁用ipv4只启用ipv6
2  你的z230使用双网口与g8双网口直连， 其中都只设置同一网段的ipv4地址禁用ipv6
3  在2的基础上，改直连为千兆电口交换机，观察曲线是否能平稳
4  在2的基础上，改直连为万兆电口交换机，观察曲线能否平稳超越2千兆
5  在4或3的基础上，拔掉z230的一根网线，剩余的一个网口启用ipv6
6  莫装hp网卡驱动
7  莫装b120i的缓存驱动,也就是刚装完系统后带问号的驱动
8  改成ahci试试
9  对调2张卡的安装位置
10  换用玄学电源线与玄学插头插尾供电
11  互相挂载多路径iscsi target , 用iometer跑跑
你一定会发现问题的原因，和没有上全套企业级完全没有正面关系。
ps ： 还是100元的MLNX卡香

红色狂想 发表于 2021-2-27 15:32
哪款路由器呀，还用修，华硕八脚怪GT-AC5300吗，啥毛病？

华硕那种贵上天的路由我是没钱买的，是QNAP-Qhora 301W，千兆口做WAN无线速率不正常，有线也不稳定，还丢包，本来以为是固件问题，但新年前排查了一下可能是硬件问题

你前一个帖子我回了
我买的惠普备件
大机器买了个AQC107，更新了最新固件
反正俩机器之间传蓝光，900M左右
没开巨帧，6类线直连

Ramaxel 发表于 2021-3-3 23:52
你前一个帖子我回了
我买的惠普备件
大机器买了个AQC107，更新了最新固件

羡慕，我这边加了SSD缓存也就700左右，这么说其实巨型帧不开也可以咯

DoctorX99 发表于 2021-3-10 23:31
羡慕，我这边加了SSD缓存也就700左右，这么说其实巨型帧不开也可以咯

我感觉主要还是看SSD吧
下载机是个S11Pro缓存用完了就拉到了
大机器是750，全程随便霍霍
我基本都复制蓝光，几十G的那种
碎片文件，速度也不行

Ramaxel 发表于 2021-3-12 12:27
我感觉主要还是看SSD吧
下载机是个S11Pro缓存用完了就拉到了
大机器是750，全程随便霍霍

昨晚试了，关巨型帧的话只能到460左右，NAS是QNAP TS-473，X540加SM961 512G我感觉就是机器性能问题，算了，能跑700也满足了，毕竟以NAS那种辣鸡配置来说要求不能太高

DoctorX99 发表于 2021-3-12 14:12
昨晚试了，关巨型帧的话只能到460左右，NAS是QNAP TS-473，X540加SM961 512G我感觉就是机器性能问题，算 ...

我机器也挺老的
主机I7 6700K
下载机是奔腾的啥玩意，我都记不住了

Ramaxel 发表于 2021-3-12 18:13
我机器也挺老的
主机I7 6700K
下载机是奔腾的啥玩意，我都记不住了

反正台式机再怎么弱都比NAS强