发帖记录一下两种乞丐版超融合 使用optane memory

乞丐版 并不是以损失功能为代价的
要经得起几个月7x24在线测试与当场拔电failover   
于是 用于缓存层的完整防掉电SSD需要一个最佳乞丐版替代品，  optane memory当仁不让。
一，vsan 2节点直连延伸群集乞丐版 ，用于EBS erp系统测试机：
硬件是2台dell R720  
cpu：亮机赠送版 e5-2609 * 2   主频2.4  4c/4t
内存：ddr3 rdimm 8G *6  混搭拆机的
机械硬盘链路：无阵列卡，背板直接连到主板minisas口 ，1块500G 512n + 3块1TB 512n       sata机械盘
SSD： optane memory 32GB 一片 + 佳翼 1U 转接卡
千兆网卡： 服务器自带4口
万兆网卡： mellanox 单口万兆  *2      SFP+直连线缆 *2        某宝拆机 卡+线 120元
一个节点跑vcenter  一个节点跑EBS（oracle DB + oracle EBS全套生产环境测试）
测试OS是周末p2v直接从原测试机迁进来，Selinux处理后配好网络直接上线，EBS生产环境必须有台测试站点内行自然懂
实测日常erp查询性能超过原EBS测试机4倍左右 跑满半年虚拟机迁走后光荣退役

二 ，S2D 2节点直连 极限乞丐版
硬件是2台dell工作站 T1700 SFF小机身准系统 （9.5mm光驱位，2个pcie槽16+4 ）  
cpu：i3-4130 （支持ecc）
内存：ECC ddr3 4G * 2   
硬盘：120G ssd +本本光驱转接套件 + 一块 3TB 东芝5900转
日志缓存： optane memory 16GB 1片 + 佳翼 1U 转接卡
千兆网卡： 工作站主板自带单口
万兆网卡： mellanox 单口万兆配半高挡板 一块      SFP+直连线缆 一条     系统装完 默认自动开启RDMA
千兆交换机  华为1724
系统是win2016DC vhdboot  纯属研究用   内嵌双域控是两台服务器各一个Hyper-V虚拟机 （3G ram ，开机自启，走千兆各自开一个共享用于见证）  都放在120G
1号机上市电 2号机上APC UPS （USB控制5分钟自动关机）千兆交换机不上UPS
S2D是： optane 16G作为journal     3TB机械盘创建Vdisk  写缓存定义为6GB
做文件服务器运行4个月 ， 共享盘速率在75MB/s左右
经历每天晚上9点半统一拉电  数据完好  1号机的vhdboot系统镜像恢复过几次 1号的内嵌域控重做过一次 ， 昨天光荣退役

不错的玩法
看样子，这回optane memory比当年SRT要成功的多

可惜broadcom不继续搞cachecade了

都用服务器了另外买一个 900P 1000多很贵吗？

nazca001 发表于 2018-12-2 10:43
都用服务器了另外买一个 900P 1000多很贵吗？

900P 280G 单块就要1750+
测试当然是考虑省钱  嘿嘿      服务器和工作站是借的 要还给人家的   
只有ssd和网卡是自己公司的  2个32G 2个16G  2个120G 2个光驱盒 4个转接卡  6张网卡 3条线  这些加起来也就一张900p的钱   4张900P 多出5000多测试预算呢
而且32G 和 16G的缓存都能正常用 性能还有提高  文案上说服力更大
PS： 正式采购都是 dcp4800X

nazca001 发表于 2018-12-2 10:43
都用服务器了另外买一个 900P 1000多很贵吗？

服务器上2x 300G 10K用到死的大有人在

LZ这是做方案点醒甲方
如果是等着被打醒就不是两片4800X的问题了

eterfinity 发表于 2018-12-2 11:06
900P 280G 单块就要1750+
测试当然是考虑省钱  嘿嘿      服务器和工作站是借的 要还给人家的   
只有ss ...

问题是，测试完900P还能排上用处，这些16G 32G的用处不大。

虽然看不太懂，不过又学习了

nazca001 发表于 2018-12-2 11:47
问题是，测试完900P还能排上用处，这些16G 32G的用处不大。

一句话
视野限制想象力

你觉得没用，有人觉得用处多的很。

nighttob 发表于 2018-12-2 13:28
一句话
视野限制想象力

用处大就不会99块大甩卖了。

nazca001 发表于 2018-12-2 14:31
用处大就不会99块大甩卖了。

￥99/16GB
￥1732/280GB

你觉得是在甩卖不代表真的便宜

nighttob 发表于 2018-12-2 15:15
￥99/16GB
￥1732/280GB

99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。

nazca001 发表于 2018-12-2 16:09
99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。

我觉得跟你没啥可聊的了

我们用900p其实用了好多
某211大学外语系电子阅览室  虚拟桌面方案  
他们一期一开始就上的全闪存VSAN  3节点 300nameduser /150虚拟机 模式
然而ssd配的都是intel dc s3500   
不是说3500不好  然而是个读取密集型  而且OEM版s3500固件对unmap 与fold 操作实际是有限制的 太频繁会锁盘   
与broadcom 57840万兆网卡的固件行为 就会有点冲突
一堆硬件摆在眼前，售前没参与，部署又不能推，换各种驱动也只能找到相对发生问题频次少点的版本。
把480G的s3500 op成200G  做缓存层  op成300G 做容量层  这种为后期维保带来巨大困难的邪门的招数都使了      
从部署完开始   还是经常地出现固件锁盘  必须断电重开机

后来一次偶然的机会  ，供应商说他们打算花点小钱 看能不能改善一下  为了二期也值了
让拍了3片900p搞定  原来的3500 删了HPA SE之后全作为容量层
至今没出过问题  至今我抽屉里还有3个900p的半高挡板   



类似的场景  900p就是个很好的解决方法      
供应商自掏腰包弥补缺陷的，配图形工作站加900p的，做vflash readcache要极致性能又想省钱的，还有遇到过原配企业级pciessd坏了因为保密不能返件原厂不给换无奈上900p替代的
然而让我们自己买2-4个900p去给人上测试  还是不舍得  还不如每天中午多加一份牛肉呢

测完后的 32g 16g 确实还是有用的
关系好的一个客户要改善文件服务器性能   减少抱怨 提高说服力  
过几天32G的直接送给他
一对奥腾32g+ICA软件 存储池里把两片32g组个simple  ICA开绕写模式  就是个50多GB的读缓存了 提升不是一点点 应该比cachecade 1.0强吧
至于16g   下回就送16G的了

eterfinity 发表于 2018-12-2 18:42
测完后的 32g 16g 确实还是有用的
关系好的一个客户要改善文件服务器性能   减少抱怨 提高说服力  
过几天3 ...

有点没懂在SS里面做了simple再ICA做write-around的实现方式
我理解任何盘分配到了SS里面就不会有free space了，那么ICA用什么去做read cache？
还是说ICA的read cache跟write cache的设置方式不一样？

组储存池后 再利用ica 这个好。我下次试试。我也买到现在有十来块了

nazca001 发表于 2018-12-2 16:09
99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。

算一下每G的价格你就不会觉得是在甩卖

nighttob 发表于 2018-12-2 19:17
有点没懂在SS里面做了simple再ICA做write-around的实现方式
我理解任何盘分配到了SS里面就不会有free spa ...

ICA能用的前提是有个intelSSD  那么有两个optane自然能用ICA
然后  用于加速的卷不选物理盘 选择存储池组出来的storage spaces volume就好了 算是作弊吧     就是得占用一下文件服务器的CPU

eterfinity 发表于 2018-12-3 04:53
ICA能用的前提是有个intelSSD  那么有两个optane自然能用ICA
然后  用于加速的卷不选物理盘 选择存储池组 ...

那你做SS的目的只是为了一个软RAID0？

nighttob 发表于 2018-12-3 06:50
那你做SS的目的只是为了一个软RAID0？

没错
那个it手上的饱受抱怨的文件服务器里每个文件都是 2K以内的   用户有1500人左右  文件数量特别大2400万个左右   
感觉单个32g不够缓存的  索性就两个都给他了
伺候好了 下回自然有生意做 嘿嘿