[转贴]硬盘性能的几大误解 - 从共识算法开谈

nighttob 发表于 2019-2-2 18:05
Intel大法好，520秒全家
不过按照作者的意思，520应该也是cheated？
感觉作者对电容有着强烈的执着

intel 520 我没什么了解，我觉得如果ssd带断电保护，那么fsync可以做的比较快毕竟能把write-through优化成write-back

OstCollector 发表于 2019-2-2 20:32
intel 520 我没什么了解，我觉得如果ssd带断电保护，那么fsync可以做的比较快毕竟能把write-through优化 ...

是这个道理

就是你转贴的这老外认为S3100是没有电容的，所以相当于开了always write back，在worst case下WAL就GG了
但他也说了，做read cache是OK的
话说S3100的相关讨论真是少

S3500这种盘是否适合家用？每天都会开关机。


还有里面的断电保护电容时间长了会不会老化失效，网上下载了Intel SSD Data Center Tool想看一下电容状态，但安装后打开一秒后窗口就消失了，不知什么原因

羽落风尘 发表于 2019-2-5 23:33
S3500这种盘是否适合家用？每天都会开关机。

我的态度一直是，有企业级需求就该用，否则就是瞎用
瞎用的意思就是，企业级的好处一项都发挥不出来，相反短处是都占上了，而且成本也得背着
论坛里说企业级好处的帖子也有不少，可以自己对一对，自己分析一下
举最简单的例子，写入寿命，如果日常连0.1DWPD都没有，那这个所谓好处就没用，SSD的失效原因绝不仅仅是NAND擦除失效

S3500上的是储能用的电解电容，充放电循环寿命相对较低
在真正7x24环境下，一年也不见得能断几回电，所以不用担心循环次数的问题
家用每天都关机，甚至还会休眠，显然增加了电容方面的损耗，但我认为就算这样也用不到坏的那一天
我认为实际问题是电容充电需要时间，检测电容状态也要时间，所以ready on time会比较长，机器启动太快就直接把SSD miss掉了，这事也发生过了

电容的状态没什么好纠结的
我相信这个盘有坏的那一天也不是因为显性的故障导致的
据我所知isdct是命令行工具，所以你双击当然没用

就是说家用就买家用的，用不着买企业级别的！想想写入量真还用不上这么高级的！

有几个不明白的地方：
1.哪怕是家用级SSD也有RAM缓存，比如256G的950Pro有512MB LPDDR3缓存，既然数据已经写入了缓存，就应该报告了啊，难道还要等到写入了NAND才报告？那缓存的“快速写入”的意义又何在呢？因为收到“确认落地写入”报告的延迟=RAM缓存写入延迟+NAND写入延迟，延迟反而增加了。抑或我的算法不对？
2.“比950Pro贵几百元的企业级”是什么型号。我查企业级SSD都是4000+的价格。如果能买到低延迟的、便宜的企业级SSD当然是善莫大焉。

haierccc 发表于 2019-2-25 21:19
有几个不明白的地方：
1.哪怕是家用级SSD也有RAM缓存，比如256G的950Pro有512MB LPDDR3缓存，既然数据已经 ...

没有电池/储能电容的情况下, 写入ram 就认为写入完毕, 告诉os/应用软件完成写入, 企业级是不可能接受的, 这个时候万一掉电了, 数据就丢了.

其实消费级用途硬盘也不应该欺骗操作系统, os告诉你, 这个写入要落盘, 就要落盘, 否则机器掉电了, 说不定文件系统就坏了.

有储能电容的时候, 写入ram 可以告诉上层, 已经完成写入了, 万一掉电了, 硬盘上的电容够支撑将ram 的东西写入到 flash 中就行.

haierccc 发表于 2019-2-25 21:19
有几个不明白的地方：
1.哪怕是家用级SSD也有RAM缓存，比如256G的950Pro有512MB LPDDR3缓存，既然数据已经 ...

上完课老师说听懂了吗，下面都说听懂了，第二天考试就知道谁是真懂了
那就看你是认为吃饭只是把食物送进嘴里，还是在肠胃里消化掉了才算完

作者来个GOOGLE云盘这个是KVM，如何分配看GOOGLE，只是正好既然如此就在差异环境下dragonboat跑个分做对比用而已。
跑pg_test_fsync这个实际是告诉大家物理环境性能情况。
至于下面引用的是另外一个作者写了套代码测试企业和家用新延迟和吞吐。
然后作者告诉大家企业盘因写到缓存就回复写入所以延迟相对低，总结跑共识算法低延迟是指标，容量速度可以叠盘。

--
GITHUB那里我稍微看了下，属于分布式系统的范畴。
共识这个简单参照比特币里的机制相关会有一定了解。
至于数据库入门我视频有大概说明。http://www.iqiyi.com/u/2074832227/v

--
然后到你的结论中“即使没有对这两个事件有了解，看了作者的解释，也应该能大概明白”。

这个首先不否认掉电保护的重要性。但这好像和你引用文章作者所说的和你说的没什么关联。
作者所说具有掉电保护的盘主要是在说有掉电保护的盘他是数据写到缓存即可回复已写入由此延迟低。

拿实例来说，WEBSOCKET CHAT，后端UWSGI-PY-redis-postgresql，在服务器上，要做数据掉电保护数据可不是只要保护硬盘缓存写入硬盘这一部分就可以了的。内存的数据同样一起要保护。除非都不重要，几秒的数据没了也没差。当然如果是大数据企业，保护手段会做更多。

很多东西不要混到一起，不然逻辑混乱。
家用选择就是看厂家实力质量品牌价格售后之间取平衡，负责的话确实要告诉买家只在厂家实力足质量好口碑好的厂家之间选，还有就是要告知实际情况的负载，除非很寂寞专门买两个盘while 1 shutil.move一直把同样的文件在两个硬盘中剪切来剪切去。
至于数据掉电保护，不止看个盘掉电保护的，不同性质企业都有不同的做法很多考量，分布部署备份上云等等一大堆手法。

feve 发表于 2019-2-28 21:08
作者来个GOOGLE云盘这个是KVM，如何分配看GOOGLE，只是正好既然如此就在差异环境下dragonboat跑个分做对比 ...

你说的对
我实际上是硬拉到一起的

因为我要找我能理解也能表达出来的，好让“吃瓜群众”稍微看明白这个事
虽然从结果上来看也没达到目的

翻回头去看，原作者这个切入点也不是很妥
但转过来，我还添油加醋那么些，目的就是表达“需求和应用挂钩”这个意思
只不过原文说的是别拿半吊子的东西糊弄专业应用，我想说的正好相反

少2跟线。。。