发帖记录一下两种乞丐版超融合 使用optane memory
本帖最后由 eterfinity 于 2018-12-2 10:33 编辑乞丐版 并不是以损失功能为代价的
要经得起几个月7x24在线测试与当场拔电failover
于是 用于缓存层的完整防掉电SSD需要一个最佳乞丐版替代品，optane memory当仁不让。
一，vsan 2节点直连延伸群集乞丐版 ，用于EBS erp系统测试机：
硬件是2台dell R720
cpu：亮机赠送版 e5-2609 * 2 主频2.44c/4t
内存：ddr3 rdimm 8G *6混搭拆机的
机械硬盘链路：无阵列卡，背板直接连到主板minisas口 ，1块500G 512n + 3块1TB 512n sata机械盘
SSD： optane memory 32GB 一片 + 佳翼 1U 转接卡
千兆网卡： 服务器自带4口
万兆网卡： mellanox 单口万兆*2 SFP+直连线缆 *2 某宝拆机 卡+线 120元
一个节点跑vcenter一个节点跑EBS（oracle DB + oracle EBS全套生产环境测试）
测试OS是周末p2v直接从原测试机迁进来，Selinux处理后配好网络直接上线，EBS生产环境必须有台测试站点内行自然懂
实测日常erp查询性能超过原EBS测试机4倍左右 跑满半年虚拟机迁走后光荣退役
二 ，S2D 2节点直连 极限乞丐版
硬件是2台dell工作站 T1700 SFF小机身准系统 （9.5mm光驱位，2个pcie槽16+4 ）
cpu：i3-4130 （支持ecc）
内存：ECC ddr3 4G * 2
硬盘：120G ssd +本本光驱转接套件 + 一块 3TB 东芝5900转
日志缓存： optane memory 16GB 1片 + 佳翼 1U 转接卡
千兆网卡： 工作站主板自带单口
万兆网卡： mellanox 单口万兆配半高挡板 一块 SFP+直连线缆 一条 系统装完 默认自动开启RDMA
千兆交换机华为1724
系统是win2016DC vhdboot纯属研究用 内嵌双域控是两台服务器各一个Hyper-V虚拟机 （3G ram ，开机自启，走千兆各自开一个共享用于见证）都放在120G
1号机上市电 2号机上APC UPS （USB控制5分钟自动关机）千兆交换机不上UPS
S2D是： optane 16G作为journal 3TB机械盘创建Vdisk写缓存定义为6GB
做文件服务器运行4个月 ， 共享盘速率在75MB/s左右
经历每天晚上9点半统一拉电数据完好1号机的vhdboot系统镜像恢复过几次 1号的内嵌域控重做过一次 ， 昨天光荣退役
不错的玩法
看样子，这回optane memory比当年SRT要成功的多
可惜broadcom不继续搞cachecade了 都用服务器了另外买一个 900P 1000多很贵吗？ 本帖最后由 eterfinity 于 2018-12-2 11:14 编辑
nazca001 发表于 2018-12-2 10:43
都用服务器了另外买一个 900P 1000多很贵吗？
900P 280G 单块就要1750+
测试当然是考虑省钱嘿嘿 服务器和工作站是借的 要还给人家的
只有ssd和网卡是自己公司的2个32G 2个16G2个120G 2个光驱盒 4个转接卡6张网卡 3条线这些加起来也就一张900p的钱 4张900P 多出5000多测试预算呢
而且32G 和 16G的缓存都能正常用 性能还有提高文案上说服力更大
PS： 正式采购都是 dcp4800X
nazca001 发表于 2018-12-2 10:43
都用服务器了另外买一个 900P 1000多很贵吗？
服务器上2x 300G 10K用到死的大有人在
LZ这是做方案点醒甲方
如果是等着被打醒就不是两片4800X的问题了
eterfinity 发表于 2018-12-2 11:06
900P 280G 单块就要1750+
测试当然是考虑省钱嘿嘿 服务器和工作站是借的 要还给人家的
只有ss ...
问题是，测试完900P还能排上用处，这些16G 32G的用处不大。
虽然看不太懂，不过又学习了
nazca001 发表于 2018-12-2 11:47
问题是，测试完900P还能排上用处，这些16G 32G的用处不大。
一句话
视野限制想象力
你觉得没用，有人觉得用处多的很。
nighttob 发表于 2018-12-2 13:28
一句话
视野限制想象力
用处大就不会99块大甩卖了。
nazca001 发表于 2018-12-2 14:31
用处大就不会99块大甩卖了。
￥99/16GB
￥1732/280GB
你觉得是在甩卖不代表真的便宜
nighttob 发表于 2018-12-2 15:15
￥99/16GB
￥1732/280GB
99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。
nazca001 发表于 2018-12-2 16:09
99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。
我觉得跟你没啥可聊的了
本帖最后由 eterfinity 于 2018-12-2 19:02 编辑
我们用900p其实用了好多
某211大学外语系电子阅览室虚拟桌面方案
他们一期一开始就上的全闪存VSAN3节点 300nameduser /150虚拟机 模式
然而ssd配的都是intel dc s3500
不是说3500不好然而是个读取密集型而且OEM版s3500固件对unmap 与fold 操作实际是有限制的 太频繁会锁盘
与broadcom 57840万兆网卡的固件行为 就会有点冲突
一堆硬件摆在眼前，售前没参与，部署又不能推，换各种驱动也只能找到相对发生问题频次少点的版本。
把480G的s3500 op成200G做缓存层op成300G 做容量层这种为后期维保带来巨大困难的邪门的招数都使了
从部署完开始 还是经常地出现固件锁盘必须断电重开机
后来一次偶然的机会，供应商说他们打算花点小钱 看能不能改善一下为了二期也值了
让拍了3片900p搞定原来的3500 删了HPA SE之后全作为容量层
至今没出过问题至今我抽屉里还有3个900p的半高挡板
类似的场景900p就是个很好的解决方法
供应商自掏腰包弥补缺陷的，配图形工作站加900p的，做vflash readcache要极致性能又想省钱的，还有遇到过原配企业级pciessd坏了因为保密不能返件原厂不给换无奈上900p替代的
然而让我们自己买2-4个900p去给人上测试还是不舍得还不如每天中午多加一份牛肉呢
本帖最后由 eterfinity 于 2018-12-2 18:48 编辑
测完后的 32g 16g 确实还是有用的
关系好的一个客户要改善文件服务器性能 减少抱怨 提高说服力
过几天32G的直接送给他
一对奥腾32g+ICA软件 存储池里把两片32g组个simpleICA开绕写模式就是个50多GB的读缓存了 提升不是一点点 应该比cachecade 1.0强吧
至于16g 下回就送16G的了
eterfinity 发表于 2018-12-2 18:42
测完后的 32g 16g 确实还是有用的
关系好的一个客户要改善文件服务器性能 减少抱怨 提高说服力
过几天3 ...
有点没懂在SS里面做了simple再ICA做write-around的实现方式
我理解任何盘分配到了SS里面就不会有free space了，那么ICA用什么去做read cache？
还是说ICA的read cache跟write cache的设置方式不一样？
组储存池后 再利用ica 这个好。我下次试试。我也买到现在有十来块了
nazca001 发表于 2018-12-2 16:09
99块钱的固态买还不是大甩卖？至于1000多那个是我说的更有用途的。
算一下每G的价格你就不会觉得是在甩卖
本帖最后由 eterfinity 于 2018-12-3 04:55 编辑
nighttob 发表于 2018-12-2 19:17
有点没懂在SS里面做了simple再ICA做write-around的实现方式
我理解任何盘分配到了SS里面就不会有free spa ...
ICA能用的前提是有个intelSSD那么有两个optane自然能用ICA
然后用于加速的卷不选物理盘 选择存储池组出来的storage spaces volume就好了 算是作弊吧 就是得占用一下文件服务器的CPU
eterfinity 发表于 2018-12-3 04:53
ICA能用的前提是有个intelSSD那么有两个optane自然能用ICA
然后用于加速的卷不选物理盘 选择存储池组 ...
那你做SS的目的只是为了一个软RAID0？
nighttob 发表于 2018-12-3 06:50
那你做SS的目的只是为了一个软RAID0？
没错
那个it手上的饱受抱怨的文件服务器里每个文件都是 2K以内的 用户有1500人左右文件数量特别大2400万个左右
感觉单个32g不够缓存的索性就两个都给他了
伺候好了 下回自然有生意做 嘿嘿
页:
[1]
2