nighttob 发表于 2017-12-17 10:22

传统、另类与新潮,Intel Optane 900p 对比评测

本帖最后由 nighttob 于 2017-12-17 16:09 编辑

感谢PCEVA论坛组织Intel Optane 900p SSD团购活动,可以说以900p为代表的3D XPoint存储产品是2017年度最值得购买的硬件了,特别是对我这等存储控来说尤其如此,所以在得知活动后第一时间就下单了。

拿到如此好物自然不能随便跑两个分就结束,为此我也是准备了两套测试平台和数套测试方案,在要表现出Optane 900p的强大实力的同时,也要通过对比显示出究其竟强在哪儿。

在正式节目开始前,例行公事还是要办的——如大家所见,外包装盒还是很大气的。


内部则是被泡棉垫保护的本体、半高挡板及安装、保修手册。对于能买AIC型Optane 900p的玩家来说,标准塔式机箱基本是用不到半高挡板的,但我的测试环境就用到了。


标题中提到了“传统、另类与新潮”,也就是这次测试要对比的几个对象。
传统——即SSD RAID的方案。RAID已经有了数十年的历史了,直到今天还有一些厂家会用LSI SAS3008+N个SATA SSD做到一个AIC上,以此充当所谓“企业级SSD”来卖。这里我用高性能SAS RAID卡+4个SAS SSD组成这套方案。
另类——即前不久测试过的Fusion ioMemory。Host-based方案一直以来就是另类产品,虽然在SSD发展很长的一段时间都是高性能的代名词,但在新技术的革命中败退下来。
新潮——即本文的主角Intel Optane 900p SSD。3D XPoint及其他NVRAM技术将在未来改变人们对存储的认识,使“内存”与“外存”不再泾渭分明。

那么就要让参测对象们露个脸,分别是:
HGST Ultrastar SSD1600MM 200GB(IBM System x OEM版);
Fusion ioMemory PX600(IBM System x OEM版),有关此盘的测试见论坛和首页;
Intel Optane 900p SSD。


既然要测SSD RAID,那么RAID卡也是必不可少的,两套测试平台也就有2块,分别是:
MegaRAID 9364-8i(ServeRAID M5210,IBM System x OEM版,可以看作是9361-8i的外插缓存版+SAS接口朝上);
MegaRAID 9460-8i(ThinkSystem RAID 930-8i,Lenovo ThinkSystem OEM版,就是传说中支持NVMe SSD RAID的,但此OEM版未启用此功能)。


前面提到了两套测试平台,第一套是之前测PX600时用到的IBM/Lenovo System x3650 M5(2* Xeon E5-2620v3 w/ 4* 8GB DDR4-2133 RDIMM),合体以后如下:
近处Riser卡上面是PX600,下面是Optane 900p,在主板上面的是RAID卡。不要把注意力放在远处的老黄GRID GPU上。


第二套是新的Lenovo ThinkSystem SR550(1* Xeon Gold 6130 w/ 4* 16GB DDR4-2666 + 2* 8GB DDR4-2666 RDIMM),合体后如下:
直插在主板上的是Optane 900p,远处Riser卡上面的是RAID卡,下面的是PX600。主板上被大型散热片覆盖的就是Lewisberg PCH。


出场阵容都介绍完了,接下来开始测试环节。

首先一点,Intel为Optane 900p作为标准NVMe设备,在UEFI中是可以直接读取到信息的。


虽然NVMe SSD也支持Opal加密,但900p是不支持的。


另外注意一点,Intel为Optane 900p发布了专用NVMe驱动,可以在下载中心里下载。安装好以后会正确显示设备名字,否则就是“标准NVM Express 控制器”。


新版本的Intel SSD Toolbox也已经能正确识别设备。


就像其他NVMe SSD一样,Optane 900p的SMART也是分成共有部分和私有部分。这是已经跑了1/3测试项目后截取的。


接下来是在第一套平台上进行的TxBench和CDM的基准测试及PCMark 8的存储测试。




TxB和CDM的两项测试结果都符合预期,单线程的测试已经无法发挥Optane 900p的性能,而当线程数增加以后甚至接近了持续读写的速度。

不过在PCM8的测试中就出现意外了,最终得分只有5063。就算进行了一些UEFI设置调整,也只提高了2分。这个成绩相对于论坛的其他测试来说明显过低,只有普通NVMe SSD的水平。


造成这种情况的原因,我认为主要有两点可能:
1、CPU主频低。E5-2620v3的主频只有2.4GHz,满TurboBoost也只有3.2GHz,更何况在服务器平台上TurboBoost也达不到很高的水平。而普通4核心桌面CPU频率至少都3.2GHz以上了,频率的差异对于Optane 900p这种IO延迟极低的盘来说影响很大;
2、SSD插在CPU2上面,CPU之间通信要经过QPI。QPI的带宽并不是问题的关键,实际上还是延迟造成的,就像NUMA和non-NUMA访问非本地内存会有差异一样,跨CPU访问PCIe设备一样会有延迟。显然一般家用环境也不会用到2路CPU。

那么为了验证以上两点是否正确,我继续下面的测试。

IOmeter测试,还是在第一套平台上。论坛之前已经测试过了QD趋势变化、混合读写及随机4K写入,重复的我就不再测试了。

这里我只测试了1Worker32QD、4Worker16QD及12Worker4QD的随机4k写入,在这组测试中也确实发现了问题。为方便阅读我就直接把3个测试整合在一个图表中。



最下方的灰点是1Worker32QD,平均205kIOPs,中间橙点是4Worker16QD,平均474kIOPs,最上面蓝点是12Worker4QD,平均555kIOPs。

1Worker和12Workers分别是最差和最好,关键在于4Workers这里。可以看到这个测试中散点分成了2层,较高的有510kIOPs左右,大部分较低的是470kIOPs左右。配合Windows任务管理器查看实时数据的话,发现了这样一个现象——IOPs较高时都只利用了CPU2的物理核心。

而IOPs较低时则有利用CPU1的物理核心。


由于负载变化是动态的,但截图并不能表现这种动态变化,总之根据观察,但凡CPU1的核心有一点点负载就会让IOPs掉下来,只有负载完全在CPU2的核心上面才能达到高IOPs位置。但也像图表中所显示的那样,大部分时间都在低位上。

而在12Workers时,所有核心都有负载,但已达到900p主控的极限,所以并没有太大性能波动。


从这组测试中就可以验证之前提出的两点可能。
1、同样是4Workers16QD,论坛使用超频到4.5GHz的6600K就可以到558kIOPs的水平,而这里只有474kIOPs。主频相差接近一倍,故而导致性能差距明显。不过物理核心多的好处就是不会让SSD把CPU性能吃光,毕竟这里跑12Workers的时候CPU余量还很大。
2、IO跑在不同的CPU节点上会因为跨CPU而产生额外的延迟,指令延迟对900p这种自身延迟极低的SSD来说影响就很明显了。

通过上面这些测试可以表明,第一套平台并不适合做深入的测试,下面就请出单路的第二套平台。

当然第二套平台也是有不可回避的问题,那就是主频更低,只有2.1GHz,虽然TurboBoost可达3.7GHz,但超过3.0的数我就没看到过。不过对Intel的服务器用CPU来说2.1GHz-2.4GHz的主频是非常常见的,不论是8核心还是28核心,在做基准性能参考的时候也都是以这个频率为准。

TxBench基准测试,从上到下分别是Optane 900p、ioMemory PX600和4* SSD1600MM RAID0。




在TxBench测试中,简单粗暴的RAID0在持续性能上拔得头筹,毕竟以SAS 12Gbps的SSD来说,读写带宽分别超过900MB/s和500MB/s毫无难度。但Optane还是胜在4k性能上,而采用NAND介质的两个盘4k性能差距不大,这也就是NAND物理性能的极限,新技术就能轻易突破。

CrystalDiskMark基准测试。




CDM的测试与TxB的结果类似,值得注意的是SAS SSD+RAID卡的组合在多线程中并没有任何变化,而ioMemory和Optane就成倍增长,甚至接近持续读写的水平。其实从这种简单粗暴的测试中也能看出,为什么当今性能级SSD的主流方案不是SSD RAID,而是NVMe。说到底,传统RAID是为了解决HDD的不足而诞生的,即使经过几十年的发展及引入SSD,也依然是为了解决HDD的问题。所以即便硬卡支持NVMe RAID,目的也不在于提升IO性能,而是带来硬件级别的冗余保护和统一化的管理,但这两点现在都有新技术能够做到。

PCMark8存储测试。




使用新平台以后,Optane 900p的成绩一下跃升至5130分段上,完全甩开了所有NAND方案的产品,当然距离论坛测试的成绩还是有较大差距,这也还是主频低所造成的。这里ioMemory PX600的成绩相对于第一套平台上5043的得分来说也有一定提升。而SSD RAID0也没有落下太多,但这并不是单个SSD性能很强或者RAID0带来的,而且阵列卡自带2GB的缓存足以应对大部分测试,当然这效果比SSD上的SLC Cache效果可强多了,毕竟这是全硬件的。

归根结底,PCM8的存储项目测试的还是盘的延迟。谁的延迟低,便越能在回放测试中取得优势。这对HDD和一般SSD来说完全没问题,但自进入NVMe时代以后这个测试便有些力不从心了(包括对ioMemory来说),现在到了Optane这里尤甚。PCM8存储测试的本意是尽量排除掉CPU、内存等硬件的影响,但随着盘的延迟变低,实际上延迟的压力又回到了CPU上面,所以最终这又变成了CPU水平考试。尽管如此,也不应否认PCM8的作用,毕竟工具有的是,关键的是在于如何利用。

PCM8存储扩展测试中的PS Heavy部分。


Optane 900p依然是一骑绝尘,而且就像一条直线一样。后面的ioMemory及SSD RAID0之间互有胜负,但就像前面说过的,SSD RAID是占了阵列卡2GB缓存的便宜,而且作为企业级SSD来说,HGST Ultrastar SSD1600MM的性能也是数一数二的。

有了之前在第一套平台上做的IOmeter测试和论坛所做的测试,这里就想研究一下,究竟多少个Workers可以跑满Optane 900p的性能。这里我的方案是从1Worker4QD开始,直到能稳定在最大IOPs处。使用4QD而不是其他队列深度的原因是在QD趋势变化测试中,4QD正好是拐点,再提高QD性能提升就很有限了。为了阅读方便,这里也是汇总到一个表格里。


可见测试到6Workers的时候基本到最高点了,之前都是非常稳定的提升。最终是7Workers 4QD达到558IOPs的最大值,而且写入带宽超过2180MB/s,跟持续写入的速度一样。这也是3D XPoint这种存储介质最惊人的一点,能做到实现最大IOPs的同时得到最大带宽,而这在NAND介质时是完全不能想象的。从另外一个角度来说,这也说明3D XPoint这种介质还有潜力,现在只是被主控束缚住了。

那么同样是8Workers 4QD,对比其他2个盘又是如何呢。

Optane还是一条直线;ioMemory是保持了一段时间300kIOPs的高性能后就跌到了不足100kIOPs,最后稳定在160kIOPs左右;HGST SSD1200MM单盘的标称性能是10kIOPs,4个组成RAID0以后达到41kIOPs还超了一些,而且离散度相当不错,只有固定时间的GC略低一些,可见真正企业级SAS SSD的性能一致性还是相当棒的。

测试到这里就结束了。


写在最后还是要说一下整个测试的经过。

为什么要在服务器平台上面测,最主要的原因是我没有可承载的台式机可用,用家里的日用主机测只能测出一堆没意义的数字。反倒是单位里可以用来测试的机器很多,而且更容易测出与众不同的东西,所以就这样决定了。当然我已经决定年底前要买新的日用主机了,是的,为了这个SSD去买一台新主机,但到时候会不会再测一回也是要看有没有时间,很可能没有……

按照原本的设想,本次测试只在x3650 M5,也就是第一套平台上做,毕竟有原来测ioMemory时候的数据可以对比,能节省一些工时,但就像结果中展现的那样,PCM8的成绩严重低于正常值,以及二路CPU的问题,所以全部测试又在SR550平台上重新跑了一遍。当然出现异常的不仅是Optane,SSD RAID0的PCM8得分也很低,因此并没有把结果贴出来。

整个测试过程用了这一整周的时间,但能得到这个结果我还是满意的,通过这次测试又开阔了自己的视野,确实很久没有像Optane这种革命性的产品了,这钱花的我认为相当值。还有一点小缺憾就是我手上并没有“普通的NVMe SSD”,所以没法做一个更完善的对比评测。其实单位里也是有的,只不过都是U.2规格,我还得借一套带背板的整套主机,结果很可能是又要重新测一遍,也许还不止一遍……

至于Optane还有3D XPoint,现在还是在新起步阶段,当然目前的成绩已经足够亮眼了。Intel和Micron都表明明年就会有DIMM规格的版本,能与Xeon Scalable系列CPU搭配,毕竟3D XPoint本身就是RAM,现在只是套上一个主控作为SSD来用。要知道现在的DRAM和SSD之间延迟有1000x的差距,而未来Optane Memory会填平这道壕沟,使得存储和整个系统的性能再跨越一次。

yhhuada66 发表于 2017-12-17 17:39

版主的测试还是比较给力呀,说明optane 900p还真是神器,存储已不是瓶颈了,需要整个平台的性能匹配,好奇要配一台什么样的日用主机呢,intel 8700k+z370这样的还是?嘿嘿

醉酒棕熊 发表于 2017-12-17 17:43

唯一的门槛就是价格了

nighttob 发表于 2017-12-17 18:42

yhhuada66 发表于 2017-12-17 17:39
版主的测试还是比较给力呀,说明optane 900p还真是神器,存储已不是瓶颈了,需要整个平台的性能匹配,好奇 ...

日常用,什么SSD性能都是富余的,而且也没有那么大的负载能发挥性能。
事实上这个盘就是让发烧友来尝鲜的。

对于做图像处理和非编的人来说,更高效率的存储确实更有价值。

nighttob 发表于 2017-12-17 18:45

醉酒棕熊 发表于 2017-12-17 17:43
唯一的门槛就是价格了

价格其实不是问题。我10年买第一个80G SSD的时候并没有比现在买这个便宜多少。
不过当年那是实打实的质的提升,现在虽然也是质变但根本用不到。

NuclearBomb 发表于 2017-12-17 20:14

几个核心能带动900P?需要8个物理核心么?

xdd6622 发表于 2017-12-17 20:43

木桶最长的一块,其他都是拖后腿的配件,哈哈!

cnmbgyw33 发表于 2017-12-17 23:48

从3D xpoint刚出来就开始心水了,不过手上的SSD目前够用,再等等工艺成熟产量提升后再入

尊称 发表于 2017-12-18 09:53

先标记…………

sk1215001 发表于 2017-12-18 11:19

原来楼主是青岛银!

nighttob 发表于 2017-12-18 12:56

sk1215001 发表于 2017-12-18 11:19
原来楼主是青岛银!

我上次去青岛都快20年前了

nighttob 发表于 2017-12-18 13:01

NuclearBomb 发表于 2017-12-17 20:14
几个核心能带动900P?需要8个物理核心么?

没有那必要

这就跟问你能吃多少饭一样
居家过日子不用每顿饭都吃到撑

sk1215001 发表于 2017-12-18 16:05

nighttob 发表于 2017-12-18 12:56
我上次去青岛都快20年前了

你现在是加拿大国籍了吗?老青岛银?

nighttob 发表于 2017-12-18 16:08

sk1215001 发表于 2017-12-18 16:05
你现在是加拿大国籍了吗?老青岛银?

我怀疑,你是不是认错人了。
另请注意版规。

icyboy 发表于 2017-12-19 14:12

本帖最后由 icyboy 于 2017-12-20 03:15 编辑

刚巧 手上有一片M5210无缓存模块和一片9341 8i 有两块HGST 1600MM 400G 晚上贴个R0测试图

两块HGST 1600MM 400G 在9341 8i上的测试来了 M5210没缓存的时候会比9341 8i数据难看一丢丢,毕竟M5210固件是为有缓存的情况下设计的!9341 8i不支持硬缓存,只支持磁盘缓存策略启用!
双路2670 系统也在这个R0的VD上运行 电源计划 平衡 刚跑的


Seq Q32T1在不做系统盘的情况下读取写入更高点
下面这个是刚R0后没在上面装系统用CDM 5.2跑的


dongyi945 发表于 2017-12-30 09:41

买不起 我就看看

icyboy 发表于 2018-4-23 02:12

本帖最后由 icyboy 于 2018-4-23 02:37 编辑

有必要挖下坟,最近有时间搞了个2G的缓存和BBU给m5210加上,还是之前的两块HUSMM1600 400G做raid0,习惯性direct IO,开启witeback,和readahead!然后跑分,4K写入不论Q16T4,还是Q32T1都非常辣眼睛,只有188MB,比板主4盘HUS1600MM 200G跑出来的207MB还滑稽,还不如单盘JBOD模式下的速度,然后开始找原因。

发现太多太多一样的测试!比如 9460-16i挂12块三星850PRO 1T RAID 50测试,也是一样的悲催。
仔细想了下,可以排除固件限制。问题就在缓存上,google后答案在这里,
http://sqlblog.com/blogs/joe_chang/archive/2010/10/11/caching-raid-controller-performance-tuning-secrets-cough-giggle.aspx

就这么回事,问题出在回写设置,VD设置改成direct IO,write through,no readahead再测试。速度终正常了!

结论是,企业级SSD不管什么接口的,掉电保护都足够强大,很多企业级固件还有raise,xor等类似raid冗余的功能,所以不论什么raid等级都可以直接忽略LSI RAID卡缓存,有的SSD自带的都不止1G 2G,关writeback和readahead,有UPS更好!

家用级,比如850 pro等没有掉电保护或者掉电保护不是很强大的,也是不论什么raid等级先关write back,raid0请慎重!

nighttob 发表于 2018-4-23 07:51

icyboy 发表于 2018-4-23 02:12
有必要挖下坟,最近有时间搞了个2G的缓存和BBU给m5210加上,还是之前的两块HUSMM1600 400G做raid0,习惯性d ...

你其实可以在你那个帖子里面at我的

虽然现在的ROC IOP性能很强了,但还是会被SSD撑死
硬件RAID比起性能,更多的是提供冗余和功能上的支持,不过也都是可替代的了

像当年HDD时代别说WB/WT R/NR,连strip size都要斤斤计较,现在谁还管这个

icyboy 发表于 2018-4-23 15:04

nighttob 发表于 2018-4-23 07:51
你其实可以在你那个帖子里面at我的

虽然现在的ROC IOP性能很强了,但还是会被SSD撑死

另外一个朋友刚好发了一个9300 8i的的规格,单卡最高iops能到90W

jerrytsao 发表于 2018-4-23 17:06

icyboy 发表于 2018-4-23 15:04
另外一个朋友刚好发了一个9300 8i的的规格,单卡最高iops能到90W
到900K天经地义, SAS3008 IOC官参就是>1 Million IOPS

页: [1] 2
查看完整版本: 传统、另类与新潮,Intel Optane 900p 对比评测