从X25-E到730，四代Intel SSD横测

在本帖中，你将会看到:
1、用虚拟机做SSD测试；
2、理论性能测试、数据回放测试及离散度测试；
3、稳定态后的理论性能测试及数据回放测试；
4、RAID 0后的理论性能测试、数据回放测试及离散度测试；
5、额外设置二层OP后的理论性能测试、数据回放测试及离散度测试；
以及
6、多图杀猫；
7、眼花缭乱的Excel表格和图表；
8、耐心。

声明：
1、非精确向测试，所有数据仅供参考；
2、需要读者有一定基础知识，本贴内不进行普及；
3、请勿转载。

测试环境：
VMware虚拟机版本11虚拟机
1CPU，4核心；8GB 内存；Windows Server 2012 R2
直通Intel RAID Module AAXRMS2AF080为存储控制器
固件：2.130.394-3028(iMR)
驱动：6.709.12.00(WHQL)
宿主机：VMware ESXi 6.0.0 3029758
主板：Intel S1200BTL
CPU：Intel Xeon E3-1230v2
内存：KST DDR3-1333 UECC 4GB x4

测试对象：
X25-E 32GB x1 FW:8860，单盘JBOD
X25-M G2 80GB x2 FW:02M3，单盘JBOD及RAID 0
X25-M G2 120GB x1 FW:02M3，单盘JBOD
520 240GB x2 FW:400i，单盘JBOD及RAID 0
730 480GB x1 FW:0420，单盘JBOD

测试项目：
理论性能测试：TxBench v0.95beta
数据回放测试：PCMark8 v2.6.512
离散度测试：Iometer v1.1.0

测试步骤：
用TxBench（以下简称TXB）给每块盘做SE，用TXB以RAW模式进行默认测试（项目1，详见后图），再次SE，跑PCMark8（以下简称PCM8）的存储测试（项目2）；
用Iometer（以下简称IOM）跑1800秒128KB完全随机数据持续写入，结束并至少等待5分钟后继续用IOM跑5000秒的4KB完全随机数据随机写入（项目3）；
再等待5分钟后跑TXB RAW模式默认测试（项目4），接着用IOM再跑10分钟的4KB随机写入，结束后依然等5分钟，最后跑PCM8的存储测试（项目5）。
一轮测试结束后，用HDAT2设置到28%的二层OP，然后跑第二轮测试；
接着设置到100%的二层OP，跑第三轮测试，结束。

测试用意：
项目1和项目2都是在SE后进行的，用来记录最佳状态；
项目3是离散度测试，测试之前进行1800秒的持续填盘是为了覆盖掉所有可用空间，并留出一定时间让盘内部GC完毕；
项目4和项目5是测出稳定态（也就是最差情况）下，一块盘的理论跑分及模拟日常使用情况。
分别对比项目1和项目4，及项目2和项目5，得出不同OP大小下，最优和最差的差距；以及不同OP大小的跑分变化。

---

测试数据

第一轮：5块盘初始情况下及两块X25-M G2（以下简称G2）80G和两块520组成RAID 0后进行测试，离散度测试待后面数据分析时在贴出，下同

↑ X25-E 32GB SE后TXB

↑ X25-E 32GB SE后PCM8

↑ X25-E 32GB 跑完IOM后TXB

↑ X25-E 32GB 跑完IOM后PCM8

↑ G2 80G SE后TXB

↑ G2 80G SE后PCM8

↑ G2 80G 跑完IOM后TXB

↑ G2 80G 跑完IOM后PCM8

↑ G2 120G SE后TXB

↑ G2 120G SE后PCM8

↑ G2 120G 跑完IOM后TXB

↑ G2 120G 跑完IOM后PCM8

↑ 520 240G SE后TXB

↑ 520 240G SE后PCM8

↑ 520 240G 跑完IOM后TXB

↑ 520 240G 跑完IOM后PCM8

↑ 730 480G SE后TXB

↑ 730 480G SE后PCM8

↑ 730 480G 跑完IOM后TXB

↑ 730 480G 跑完IOM后PCM8

↑ G2 80G SE后组RAID 0跑TXB

↑ G2 80G SE后组RAID 0跑PCM8

↑ G2 80G 组RAID 0并IOM后跑TXB

↑ G2 80G 组RAID 0并IOM后跑PCM8

↑ 520 240G SE后组RAID 0跑TXB

↑ 520 240G SE后组RAID 0跑PCM8

↑ 520 240G 组RAID 0并IOM后跑TXB

↑ 520 240G 组RAID 0并IOM后跑PCM8

第二轮：除X25-E以外的4块单盘都设置28%的二层OP后进行测试

↑ G2 80G 开28%二层OP并SE后TXB

↑ G2 80G 开28%二层OP并SE后PCM8

↑ G2 80G 开28%二层OP并跑完IOM后TXB

↑ G2 80G 开28%二层OP并跑完IOM后PCM8

↑ G2 120G 开28%二层OP并SE后TXB

↑ G2 120G 开28%二层OP并SE后PCM8

↑ G2 120G 开28%二层OP并跑完IOM后TXB

↑ G2 120G 开28%二层OP并跑完IOM后PCM8

↑ 520 240G 开28%二层OP并SE后TXB

↑ 520 240G 开28%二层OP并SE后PCM8

↑ 520 240G 开28%二层OP并跑完IOM后TXB

↑ 520 240G 开28%二层OP并跑完IOM后PCM8

↑ 730 480G 开28%二层OP并SE后TXB

↑ 730 480G 开28%二层OP并SE后PCM8

↑ 730 480G 开28%二层OP并跑完IOM后TXB

↑ 730 480G 开28%二层OP并跑完IOM后PCM8

第三轮：5块单盘都设置100%的二层OP后进行测试

↑ X25-E 32GB 开100%二层OP并SE后TXB

↑ X25-E 32GB 开100%二层OP并SE后PCM8

↑ X25-E 32GB 开100%二层OP并跑完IOM后TXB

↑ X25-E 32GB 开100%二层OP并跑完IOM后PCM8

↑ G2 80G 开100%二层OP并SE后TXB

↑ G2 80G 开100%二层OP并SE后PCM8

↑ G2 80G 开100%二层OP并跑完IOM后TXB

↑ G2 80G 开100%二层OP并跑完IOM后PCM8

↑ G2 120G 开100%二层OP并SE后TXB

↑ G2 120G 开100%二层OP并SE后PCM8

↑ G2 120G 开100%二层OP并跑完IOM后TXB

↑ G2 120G 开100%二层OP并跑完IOM后PCM8

↑ 520 240G 开100%二层OP并SE后TXB

↑ 520 240G 开100%二层OP并SE后PCM8

↑ 520 240G 开100%二层OP并跑完IOM后TXB

↑ 520 240G 开100%二层OP并跑完IOM后PCM8

↑ 730 480G 开100%二层OP并SE后TXB

↑ 730 480G 开100%二层OP并SE后PCM8

↑ 730 480G 开100%二层OP并跑完IOM后TXB

↑ 730 480G 开100%二层OP并跑完IOM后PCM8

---

数据分析

首先看离散度测试，我这里都取前4000秒

↑ 5块单盘和2组RAID 0后的离散度测试

由于大量散点混杂在10000IOps以下的范围内，所以在右上设置一个小窗口放大2000秒到2400秒内12000IOps以下的情况

在这张图里可以明显看出一枝独秀的730和稳定趋势明显的X25-E，二者的稳定态IOps分别在13000和5000上下；G2 80G和120G几乎混在了一起，稳定态IOps分别在520和750附近，G2 120G的离散度表现稍差，应该是两种容量NAND颗粒混搭的结果；两块G2 80G组成RAID 0以后离散度变差，但也稳定在1400IOps附近；520 240G单盘和双盘RAID 0的情况跟其他SF-2281主控的SSD一样，没有稳定态，1000至4000秒内平均IOps分别是2786和5830。两组RAID 0都比各自单盘的2倍还多，这应该是iMR RAID逻辑的助力；或者可以说iMR固件下，JBOD模式依然有开销。

整体而言，不论是SLC的X25-E还是主控进化版的G2，受制于主控性能和固件策略，它们的性能都很低，而且GC的很不积极。虽然X25-E的稳定态IOps超过了上代主流产品520，但这只能说520的离散度渣，而X25-E不论是容量还是性能都早已过时。

↑ 4块开28%二层OP单盘的离散度测试，并加入X25-E做参照

因为X25-E自己就有25%的二层OP，所以这里就不再多此一举，直接搬来上面的数据做对比了。

OP到28%以后，4块盘的平均IOps都有大幅提高，其中730冲上了35000；G2 80G和120G都提高了数倍到达3800左右，虽仍不及X25-E，但离散度表现更佳；520也有2倍以上的增长，不过额外的OP并不能给它带来稳定态，这是主控特性决定的。

从这里可以看出，额外设置一定的二层OP确实有利于提升最差情况下的性能，但前提是真的能用到最差情况下。


↑ 5块开100%二层OP单盘的离散度测试

OP到100%以后，730已经稳定在了50000IOps左右，实在是无比强力，其实很多写入密集型企业级SSD都是靠大幅度OP实现高性能和高耐久的；X25-E则似乎变“傻”了，平均IOps只提高了1000，离散度却严重劣化；G2 80G终于是超过了120G，不论是平均IOps还是离散度表现；520还是一如既往地不知道稳定态是何物。

到这里已经就可以看出什么是有潜力的SSD，以及OP并不解决所有问题。730可以做到稳定态几乎与OP区域内性能齐平，但像X25-M和G2这种“远古时代”的SSD，即使给它足够的释放空间，也不会有亮眼的表现，甚至是大失所望，毕竟固件算法早已过时。

接着来分析TXB的数据

↑  SE后不同二层OP设置及RAID 0时的TXB测试数据图表

由于数据太多，做图表并不容易看清楚跑分的变化，大概能看出设置二层OP后，下降的项目较多。稍后在汇总表里再细说。

↑  跑完IOM后不同二层OP设置及RAID 0时的TXB测试数据图表

IOM填盘后，绝大部分数据都有不同程度的降低，这也是在预期之内的；也能稍微看出设置二层OP的效果了。

↑  各种状态下TXB数据汇总表

先解释下这个表格怎么看。SE后和IOM填盘后的跑分数据不用说，下面行的Δ是IOM填盘后相对SE后跑分变化的百分比，右边列的Δ是设置不同OP大小及RAID 0后跟各自单盘初始状态的对比（SE后的相互对比，IOM填盘后的相互对比），红色为下降，绿色为上升，颜色深浅代表幅度高低。

可以看到大多数项目IOM填盘后要比SE后的跑分要低，特别是对各种写入项目影响很大（用户空间被无序数据占满，新写入必须先GC旧数据），在设置二层OP以后降幅有明显降低（OP空间大，可以先用OP内的空间，GC强度低），再跟开OP前的IOM填盘后项目比较就有相当大幅提高了。

G2 80G和520组RAID 0后的持续读写项目都有大幅提高，随机读写项目则有较大出入，但这并不是本测试的重点，所以不分析了。

在这表格里可以发现几个明显的“奇点”，比如G2 80G 组RAID 0并IOM填盘后随机4K QD1读取、520开28%OP并IOM填盘后持续128K QD32写入，和开OP后随机4K QD32读取这一列中很多项，这些值都明显低于各自单盘设置二层OP前，经我重复测试依然如此。前两者都是在IOM填盘后出现，而像前面分析离散度时所说，520和G2组RAID 0后的性能都不稳定，所以会出现这样的特异情况。设置二层OP后随机读取反而下降的情况，我认为是用户可用空间变低，增大了随机数据发生“碰撞”的概率（比如两个读取指令映射到同一物理page上）。

最后来看PCM8的跑分情况

↑  这里给PCM8的总分做了汇总图表，注意测试项目是倒序

在这里，X25-E展现出了SLC的本事，IOM填盘前后差距不到20分，跟730开28%OP后的分差一样；开100%OP后，更是只差了3分。但总分4900以上才算是一块“现代”的SSD，虽然X25-E的跑分十分稳定，但依旧过时了。

G2 80G和120G则连4700分都难以企及，只能靠RAID 0勉强达到X25-E的水平，而在初始状态下IOM填盘后的成绩更是大跌200分以上，就像TXB测试中IOM填盘后4K QD1随机写入直接跌进个位数一样。

520和730的PCM8跑分已经看多了，这里除了虚拟机环境的拖累导致总分偏低以外也没什么好说的。

整体上，随着设置二层OP的比例越来越大，IOM填盘前后的PCM8总分差距在变小，其中G2 120G开100%OP的还超过IOM填盘前的了（这应该也算是奇点）。但除730开100%OP这一个以外，其余设置二层OP后的总分皆不如开OP之前空盘PCM8总分，其原因一部分是我前面分析TXB时候说的，用户空间变少，发生了碰撞；还有就是用户可用空间大小确实会大幅影响使用体验，想想本来就32GB的X25-E开了100%OP以后到windows里面就剩不到19GB的格式化后容量了，再小一点就连PCM8都跑不了了。所以说，不要没有必要地设置二层OP，这会带来使用体验的降低。


↑  PCM8总分、带宽、各项耗时及总耗时汇总，并用颜色表示出优劣

这里就能看出总分究竟差在哪儿。像PhotoShop两项和InDesign这三项比较吃带宽的项目，G2的劣势就很大，其他几项就只差少数几秒或者几百毫秒。如果排除掉PS和ID这三项，各个盘各个状态的绝对差异都不大，因为PCM8关注的是一块盘的有效带宽和延迟表现，也就是带宽高有上限，延迟低有下限，超过了限度也就超过了人可以利用的范围，故而算不上提高使用体验了。所以说，只要是SSD就能大幅提高使用体验，但不同SSD之间很难明显体会出差异。

---

结论

在日常使用范围内，设置二层OP不但不会带来使用体验上的提升，相反会有反作用；

一块盘在进入稳定态以后，不论是理论跑分还是实际使用体验都会大幅劣于全新时；

如果真有在恶劣情况下使用SSD的需要，那么设置一定的二层OP有利于维持性能；

家用RAID 0也是有用的，至于用处有多大就看是做什么用了。

---

后记

因为测试数据太多，难免会有采集错误，挑错有奖。

这是我第二次写“大作”，但规模远没有第一次那么大（http://bbs.pceva.com.cn/thread-96023-1-1.html），分析部分也没有第一次全面。不过这两次的出发点差不多，上次是为了证明主板RAID 5能顶破千兆网的带宽，这一次是简单地想做个Intel SSD横测，只是都做过头了。毕竟只是实现基本目标基本没有什么意义，既然有条件做，那不如做的周全一些。

虽然有了上次的经验，在做正式测试前也做了小规模的测试，用以估计测试规模和可能遇到的问题，但在实际测试过程中还是难以避免地遇到了一些问题。比如事先选定的AS SSD突然抽风，所以改换了TXB做为理论测试，但这其实更方便了，TXB有RAW模式测试，不用先初始化并分区就可以测，测完就可以直接SE。还有IOM之前用的不多，本想图省事5块盘一起跑，最后发现5000秒的测试，只记录了不到15000个数据，其中还有严重异常的值，只能作废，再老老实实逐个跑。以及频繁热插拔，把RAID卡给整傻了，只能重启服务器，等等。

搭建测试平台其实比这个测试本身更费心费力（http://bbs.pceva.com.cn/thread-126677-1-1.html），因为我没有单独用来干闲事的主机，只能充分利用服务器和虚拟机。不过搭好以后就省事了，以后的各种存储测试和耐久度测试都可以在上面进行。

最后让测试对象们露个脸，这些都是饱经沧桑或者不知道几手的盘了

本次测试让除X25-E以外的4块盘寿命都降了1%，没有新增坏块。

SSD这些年进步还是很大的，当然，只从使用体验来说感觉不出太大差异。

使用TXB做SE Frozen状态也是需要热插拔的吧？

overthink 发表于 2016-2-12 16:44
SSD这些年进步还是很大的，当然，只从使用体验来说感觉不出太大差异。

使用TXB做SE Frozen状态也是需要热 ...

不需要，JBOD不锁定

真正意义上的Gen 3 还是Intel 730。 510和520属于外族入侵。

好像知道了，学习还是有用的  

neeyuese 发表于 2016-2-12 17:57
真正意义上的Gen 3 还是Intel 730。 510和520属于外族入侵。

520只是认养的干儿子

标题的750呢？写错了？

nighttob 发表于 2016-2-12 18:17
520只是认养的干儿子

我在用的520有两个，分别是两台主机的系统盘，就是感觉开机有点慢，其它都很好...

nighttob 发表于 2016-2-12 17:12
不需要，JBOD不锁定

JBOD还有这特效，很方便地说

楼主辛苦了。缓存确实不是万能的，有时还有副作用

730 确实对得起骷髅头的标志。。。。

性能真够强劲的。

给楼主跪了。。。。牛逼

很好。连远古的x25-m都使用差距不大........ssd确实已经比较够用了。
所以我一直给别人推闪迪加强版，除了开机速度可能不够喜人，其他使用没差了

只能说真是牛逼到不要不要的……再来块535就更齐全了~

我会告诉你我是跳过截图直接看Excel表和分析、结论吗？

测试辛苦呀，果然多图杀猫，学习了，谢谢

neeyuese 发表于 2016-2-12 17:57
真正意义上的Gen 3 还是Intel 730。 510和520属于外族入侵。

s3610/3710 可以算是Gen4了吧？

X25-E50nmSLC对我来说真是远古产物虽说还不太懂，慢慢啃

伦家就相中盘霸的服务器了，喜欢你这块主板，这套配置玩儿起来真是得心应手，可满足搭建各种应用环境，例如10层虚拟机嵌套，在上面运行qq相互视频聊天，自己部署DNS和Web视频点播服务器在线看电影等。很好奇，如此强大的一台服务器，用的是什么机箱呢？

红色狂想 发表于 2016-2-13 17:33
伦家就相中盘霸的服务器了，喜欢你这块主板，这套配置玩儿起来真是得心应手，可满足搭建各种应用环境，例如 ...

其实我很好奇能不能通过捡垃圾来实现

蓝天翔燕 发表于 2016-2-13 18:10
其实我很好奇能不能通过捡垃圾来实现

那估计得越洋过海去美帝刷盘子才有可能捡到吧