PCI Express 3.0主板——属于未来的话题

PCEVA原创首发，转载请注明出处




目录：

前言      
发展历史
PCIE结构及改进
PCIE Gen3简评
PCI Express平台信息
PCIE Gen3 的提前
6系主板=Gen3支持？

CPU的PCIE控制器及主板PCIE
PCIE Switch介绍
常见PCIE Switch及其基本原理
PCIE Switch——PEX8647、NF200介绍
NF200/PEX8647的工作原理

三大厂商的主板Gen3支持
华擎（Asrock）
微星（MSI）
技嘉（GIGABYTE）
结论及选择取向

PCIE Gen3讨论
Gen3人群界定

全文总结



文中如有错误，敬请指正

T大，那个K7S8XE貌似好几个版本呢，最早的是一个全尺寸的大板，后来越做越小，最后好像是出到R5.0了。用过一片K7VM4，小板，全集成，才400块，不超频什么的，还是值得的。就是U口保护不到位，静电强的时候会重启，后期有所老化，U口带不动移动硬盘了，只能上U盘，其他一切正常。（另外说一句，我用过的技嘉主板，USB供电一直比较足，值得表扬。）
结合其他见到的一些华擎早期的主板，共同点是价格便宜，还算物有所值，但是细节和用料不甚注意，耐久度差点意思。

楼上看来是老玩家，经历过华擎诞生和华硕搞“巨狮计划”那个阶段。华擎早期的K7板子我用过，型号是K7S8XE之类的，用料确实是十分节省，不只是功能规格精简的问题。早期华擎是找的广东工厂外包生产，后期逐渐往高端走、外加品牌归属和硕以后，究竟是怎样的研发和生产关系就不太了解了，不过做工显然和当年K7S8XE时期的华擎不可同日而语。

顺便说一下，华擎早期的板子，虽然功能规格比较全，但是为了降低成本和返修率（官方说法“用很差的用料做出还可以的板子”，并且挖了ECS的某主管。ps：这真不知道是不是在损ECS），没有超频选项，所以一般不为DIY玩家关注（可参看早期TOM'S等评测华擎主板的文章）。

中期790AOD超频比较有名，再后来，随着运营目标的改变，应该有越来越多的型号具备可玩性。

回复 65# yellowsub

这是历史原因造成的。
1：华擎成立之初，只卖中国大陆（官网上注明的，并且不卖台湾本地），并且实际上是华硕用来清理二、三线品牌的。所以祭起低价大旗，号称“500元以上的主板不知道怎么卖”。
2：华擎为了清理二、三线品牌，频繁降价，并且价格十分透明，会公开在官网上公布（华擎情报站），渠道上也是任由3大代理互相串货倾轧，价保时间很短，最终伤害了渠道，导致推广不力。（甚至曾经在卖华擎的某东，现在都不卖了）
3：华擎部分产品的规格（非质量）缩减到了无以复加的地步，一看就是低端。
4：华擎部分批次产品的质量不够过关，一度返修和过保后失效比例偏高，加上渠道被伤害，雪上加霜。恰逢此时，技嘉以超耐久系列杀出，变全市场的“做减法”为“做加法”，一时间，所有其他品牌逊色了不少。
5：华擎一定程度上，曾作为华硕低价清理过时芯片组的渠道，主推各种过时和非主流的芯片组（虽然不见得实际上有多少差别，并且出过很多奇异的主板），这也造成了口碑和品相不佳。
6：华擎早期一度攻城略地，销量上升很快，但是，在800万年销量达成以后，销量停滞不前，开始谋求变化。华擎自790芯片组时代，尝试推出高端主板，在华硕品牌代工分家之后，华擎品牌事实上归华硕之前的制造部分——和硕拥有，和硕有意利用华擎品牌，做自己的高端产品。（这里比较有意思，华擎的主板都是和硕——也就是华硕原先的制造部分——生产的，而华硕主板，貌似只有中高端是和硕生产的，到底谁的血统更为纯正呢？）
7：华擎在中后期开始拓展其他市场，可能在欧洲采取了相对较高的定位，并且由于欧洲市场并没有经历过华擎早期的原始积累，和大陆感觉不同。
8：华擎后期在宣传和产品规划上除了一贯的搞怪风格之外，一般是钉死技嘉的宣传策略，并予以抨击，矛头非常之明显，照说同行之间，似乎这么做不太地道。而后学习ROG系列搞了一些自己的旗舰产品（费特拉帝系列，话说，这哥们，代言谁，谁挂，不知道华擎能不能改变这一魔咒），配色也是红黑。此时，华擎宣称已成为欧洲第二的主板品牌，第一当然是华硕，号称并列的双A。

刚买了Asrock Z68 Extreme3 gen3, 100欧，并不贵，评测质量也好，德国这最大比价平台主板排名第二，第一是80多欧的Asrock z68 pro3, 不管在德国最大的比价平台还是Amazon都已经雄霸第一的位置很久了。asrock的几款主板经常是diy论坛的首选 ， 不知华擎的牌子为啥在国内只能算2线。

回复 63# leedemon
62楼说法一语中的，赞！其实是当年被人逼迫翻译过一部分，要不然也不会这么久还记得一些...

回复 61# ice


   客气了，相互学习吧。单纯看spec确实比较枯燥，你还自己看过，不容易的...

回复 60# lk111wlq


   是啊，这样的设计结果就是链路层完全不用管速度，到物理层有多少条lane就能跑多快。然后跟换新的物理层的时候对链路层修改也比较小

回复 59# leedemon

多谢指正，看来关于pci-e数据包的传输，我确实记错了。得兄指正，感激不尽！   
另外，关于1，即使是未集成的X58的北桥，依然是不行的。个人推断，有可能是因为intel和AMD等在硬件逻辑上处理不同，intel可能直接是转换到了内部的某种逻辑进行传输，而AMD的北桥，可能是先集成了一个switch，然后转换的。（NF200等本身就是标准的switch）此时，恰巧获得了switch的特性。
   

理由：AMD（ATI）的芯片组很早就能在北桥提供大量的pci-e通道，当时NV是不行的，并且AMD北桥的大小和功耗都小于同时期的NV北桥和intel北桥。所以，AMD可能是采用了复杂程度比较低的形式实现，如果集成一个switch，可以减少转换为内部逻辑的lanes的数量，有可能减少北桥的逻辑规模。
  

当然，以上纯属推断，没有任何官方说法，实验数据佐证。

回复 59# leedemon


   嗯，这个图是8/10b编码的，参考128/130b编码的也是这样拆分至多lane中传输。一开始我还看不明白数据包是怎么拆分后进行传输的呢，现在明白了。

回复 58# ice


1的问题我是这样猜测的：现在看Z68或者P67的结构图，RC都是整合到CPU里面去的，所以在intel的平台上面，显卡都是直接连接到CPU的RC，传统意义上面的北桥都被整合进CPU了。Intel CPU里面的RC不允许连接到下行端口的EP互相通信，所以没法互相传递消息。 AMD芯片组，NF200和PLX的switch应该是支持了这个功能，所以能互相通信。


2的话，呵呵，估计你时间久了东西有些忘记了吧。链路层里面，包是最小结构，但是到物理层最小结构是byte（应该说是经过8/10b的转码，3.0就是128/130b的转码），我贴一张截图给你就明白了。然后一个switch有几个port（包括上行和下行的port），就必须支持几个port的校验，重发机制，你说的没错。



可以看到图上，一个packet的经过转码后的数据流，是按照按照顺序分别拆分到每条lane上面传送的，有多少条lane就会拆成多少份，这样才能有效利用到多条lane的带宽。

你们讨论得确实认真啊！如果是switch的话，PCIe传送数据跟以太网的结构有点不一样，不是把上层的数据加到DL的包头来处理的。具体可以看PCIe的spec  chapter3 data link layer Specification，在Data link层传送2种包，DLLP（数据链路层数据包）和TLP（事务层数据包）。DLLP是端到端的，就是从一个PCIe接口到另外一个PCIe接口，负责流量控制，出错重传，电源管理的工作。但是TLP是可以从PCIe device到另外一个PCIe device，比如从某个复杂的PCIe bus端经过好几级的switch到达RC。像你说的NF200允许2张显卡内部通讯，就是利用这个机制，从一个显卡（作为PCIe的Endpoint）到另外一张显卡（另外一个Endpoint）。怎么控制包是传送到某个EP还是RC，得用到TLP的路由机制，这得看TLP具体的类型然后可以分为用地址来路由和用Device ID来做路由，规则比较负责...
时分的概念是在Physical Layer物理层的，这个时分是把一个包拆开分到多个lane传送，链路层应该没有。因为从链路的角度看，就是一条PCIE连线，PCIe的数据传送都是基于包的，必须发完一个包再发另一个包，所以这里的流量控制，qos控制，都是基于包来调度的。
接switch应该不受upstream port所接的downstream port的限制，只要switch能支持PCIe设备的枚举过程，就能让RC发现这个设备并给它分配地址和id，这样就可以正常工作的
leedemon 发表于 2011-10-26 14:26

感谢仁兄如此给力的讨论！
我是2005年看过1.0的白皮书，6年过去了，也再没有看过，只能凭印象说说，供大家参考，讨论。
1：关于DLLP和TLP我完全同意您的看法，此外，可以提供一个消息，就是在intel的芯片组上，NV的显卡不能通过芯片组实现点对点的互相传递信息，但是如果是AMD的芯片组，或者NF200或者PLX的pci-e switch，那么是可以的，这是一个从事CUDA开发的朋友告诉我的，这应该和各家的路由机制有关。
2：时分复用的概念，这一块，不完全同意。首先我认为时分复用的概念并非只和物理层有关；其次，对于pci-e的实现，全部基于包的调度，这一点没有异议，但是根据我的印象，这个包是不能再拆分的，也就是说发送到物理层上某个lane传输的时候，一个数据包是最小单位。假定当前要传输一个数据包，那么即使有16lanes，也是只能空闲15个，而利用其中的一个。数据包发送以后，在接收端，有一个缓冲，在这里面根据一些ID类的信息，进行重排，检验，重发等流控和校验的机制。如若这样的话，那么一个switch或者RC，原本支持16X的lanes，如果要支持双8X，那么其内部必须有同时控制两路分别进行缓冲，重排，流控等的能力，如果要分拆成4路4X，那么必须具备同时管理4路的能力。因而我认为，并非随便的一个switch或者RC都能具备这种能力，也就是说，lanes不能任意拆分。

欢迎仁兄不吝赐教，指正！

34#
原文：“第二种switch的话，我的理解是：将上端的数据队列接收，拆包后判断需要发送到哪个显卡处理（因 ...
ice 发表于 2011-9-24 12:36

你们讨论得确实认真啊！如果是switch的话，PCIe传送数据跟以太网的结构有点不一样，不是把上层的数据加到DL的包头来处理的。具体可以看PCIe的spec  chapter3 data link layer Specification，在Data link层传送2种包，DLLP（数据链路层数据包）和TLP（事务层数据包）。DLLP是端到端的，就是从一个PCIe接口到另外一个PCIe接口，负责流量控制，出错重传，电源管理的工作。但是TLP是可以从PCIe device到另外一个PCIe device，比如从某个复杂的PCIe bus端经过好几级的switch到达RC。像你说的NF200允许2张显卡内部通讯，就是利用这个机制，从一个显卡（作为PCIe的Endpoint）到另外一张显卡（另外一个Endpoint）。怎么控制包是传送到某个EP还是RC，得用到TLP的路由机制，这得看TLP具体的类型然后可以分为用地址来路由和用Device ID来做路由，规则比较负责...
时分的概念是在Physical Layer物理层的，这个时分是把一个包拆开分到多个lane传送，链路层应该没有。因为从链路的角度看，就是一条PCIE连线，PCIe的数据传送都是基于包的，必须发完一个包再发另一个包，所以这里的流量控制，qos控制，都是基于包来调度的。
接switch应该不受upstream port所接的downstream port的限制，只要switch能支持PCIe设备的枚举过程，就能让RC发现这个设备并给它分配地址和id，这样就可以正常工作的

回复 52# travis


   基本上是这样，可是以太网的hub还可以通过碰撞协议和时隙等，让各路都可以用，尽管效率低下，而这个就关死了。

意义应该还不大，2k以内的显卡现在甚至连pcie2.0 8x的带宽已经能满足需求，这个等2015年只有才可能有实际意义吧

呵呵，加油!

回复  ice


   就是说即使switch和物理层都支持pcie lane的拆分，还需要数据链路层做出相应的反应（数据 ...
lk111wlq 发表于 2011-9-24 12:27

对于第一种单刀双掷mux而言，主板提供给它一个SEL信号（可能是利用了GPIO），就唯一地决定了它的出口连接到哪组PCI-e，也就是物理层的连接方式。

回复  ice


   多谢建议~
物理层的电气特性属于硬条件，本人没有相关专业知识，也无法去说明了。对于这个 ...
lk111wlq 发表于 2011-9-23 00:24

简单说一种是受控的单刀双掷开关，通过外部信号切换哪个通道与上行相连，而PLX/NF200那种桥接器是在内部主动管理数据的流向，等于是个hub。

专业的...mark下