【补档】基于ESXi的家用多功能服务器初建成

你好，请问东芝硬盘的CCTL默认是关闭的么，是否需要在重启时手动打开。

wanededuoduo 发表于 2015-5-27 17:07
你好，请问东芝硬盘的CCTL默认是关闭的么，是否需要在重启时手动打开。

这个功能只有支持或者不支持，没有启用还是禁用
你的主机控制器不不支持这个功能只是不会用

nighttob 发表于 2015-5-27 18:26
这个功能只有支持或者不支持，没有启用还是禁用
你的主机控制器不不支持这个功能只是不会用
...

楼主你好，是这样的，我参考了以下的文章：https://im5481.wordpress.com/201 ... 6%8F%B4tlererccctl/
他使用了smartmontools工具对CCTL进行检测，DT01ACA200的结果是这样的：
###############################################
SCT capabilities: (0x003d) SCT Status supported.
SCT Error Recovery Control supported. (這就是有支援TLER/ERC/CCTL功能)
5. 再來檢查/dev/sdc (Toshiba 3.5″ HDD DT01ACA)的CCTL的運作狀態為何？ 輸入smartctl -l scterc /dev/sdc

C:\Program Files\smartmontools\bin>smartctl -l scterc /dev/sdc smartctl 6.2 2013-07-26 r3841 [x86_64-w64-mingw32-vista-sp2] (sf-6.2-1) Copyright (C) 2002-13, Bruce Allen, Christian Franke, http://www.smartmontools.org SCT Error Recovery Control: Read: Disabled Write: Disabled

結果SCT Error Recovery Control是關閉的。
###以上版权为im5481博客所有###
###############################################

上面的预设值是没有的。但可以手动修改。
我检测了手上的RE4和希捷NAS，都可以查到预设7秒。

我不是很清楚这个检测的准确性，手上也没有东芝的盘，楼主有空的话希望可以验证下。
如果真的要手动启动而且重新加电会回到默认值的话可能购买就要斟酌一下！
谢谢！

nighttob 发表于 2015-5-27 18:26
这个功能只有支持或者不支持，没有启用还是禁用
你的主机控制器不不支持这个功能只是不会用
...

话说1150针的  那块服务器板子对ESXI兼容性好点？

ahfncj 发表于 2015-5-27 22:03
话说1150针的  那块服务器板子对ESXI兼容性好点？

现在还能有对ESXi不友好的服务器板子？
老板子上新系统除外。

nighttob 发表于 2015-5-27 18:26
这个功能只有支持或者不支持，没有启用还是禁用
你的主机控制器不不支持这个功能只是不会用
...

https://forums.freenas.org/index ... t-on-a-drive.27126/

1. SMART capabilities:            (0x0003) Saves SMART data before entering
   
2.                                         power-saving mode.
   
3.                                         Supports SMART auto save timer.
   
4. 
   
5. # smartctl -l scterc /dev/sdc
   
6. smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-4-amd64] (local build)
   
7. Copyright (C) 2002-11 by Bruce Allen, [url]http://smartmontools.sourceforge.net[/url]
   
8. 
   
9. SCT Error Recovery Control:
   
10.            Read: Disabled
    
11.           Write: Disabled
    
12. 
    
13. # smartctl -l scterc,70,70 /dev/sdc
    
14. smartctl 5.41 2011-06-09 r3365 [x86_64-linux-3.2.0-4-amd64] (local build)
    
15. Copyright (C) 2002-11 by Bruce Allen, [url]http://smartmontools.sourceforge.net[/url]
    
16. 
    
17. SCT Error Recovery Control set to:
    
18.            Read:     70 (7.0 seconds)
    
19.           Write:     70 (7.0 seconds)
    

复制代码

TLER可以通过软件设置的，我的东芝盘默认不打开这一功能。

OstCollector 发表于 2015-5-29 15:16
https://forums.freenas.org/index ... t-on-a-drive.27126/

哦，我理解错了一点。

SCT ERC这个指令(command)是只有支持还是不支持
具体到ERC/CCTL/TLER这个功能是启用还是禁用我没注意（现在看见TLER和CCTL都自动ECC成SCT ERC）
不过只要支持ERC，就算默认禁用，也是可以手动启用的
下回写东西的时候需要加上这一点了

4-5月折腾了一下vCenter Server，希望能用上vSphere Web Client管理新版虚拟机。
结果发现硬件开销颇大，主要是内存，因为我这内存本来就少。
摸门以后还是暂时弃用了，内存不足是主因，首先启动vCenter的虚拟机，后面要直通显卡的就告诉你内存不足了；另一个原因是vSphere Web Client要用到JAVA和Adobe AIR+Flash，而我非常讨厌JAVA，当然也讨厌Flash。所以没有十足必要，还是先不用了。

虽然vSphere 6.0已经出几个月了，但没做可用性测试之前也不会升级。
只看Release Note也没发现什么对我有用的东西，无非就是支持了老黄的GRID卡，可以做显卡直通了，但仅限那两款。对比A卡全家都能直通，还是得说，老黄渣渣。

阵列里最高龄的一块盘已经挺过4W小时了，紧随着还有一块也快了。目前所有盘都是健康100%。
用来冷备份的4块盘还是通3个月电，然后再断电几个月。

6月发生了3次HDD电源故障，有模组线接口的问题，也有HDD老化的问题。
解决方案是做了2条新线，然后把服务器的电源换成了日用主机用的Antec Neo ECO 450M。
嗯，实际上来说是降质了。
但原来的电源原生线太多，而且用不上，不仅影响走线还会妨碍盖侧板。
换了电源就是为了走线更清晰一些。虽然阵列卡的两条SAS线依旧无解。

换过电源以后，阵列8盘的由一条8口模组线供电，另外5块盘由一条5口模组线供电。图上各种灯都是亮着的，所以当然没问题。
由于把浴室牌sTec PCIe SSA装了进去，所以预计典型功耗增加大约15W。

改二（http://bbs.pceva.com.cn/thread-115191-1-1.html）中提到的USB问题：

接下来是前不久脑洞出来的想法：既然从PCI挡板到桌面无线键鼠的距离远，那么可以用USB延长线或者USB HUB解决距离远的问题；正好USB扩展卡上面也有插针，那为什么不利用下机箱前置USB呢？于是买了一板杜邦线，一头公一头母。前置USB是1组2个USB，一个延长插到USB扩展卡上的插针，一个延长插到主板USB的插针。这样一来日常用桌面的时候，无线键鼠收发器插在从USB扩展卡来的那个口上，操作ESXi的时候插到另外那个口上，问题解决，而且完全不影响美观（忘了机箱内部吧）。

也可以在上图看到，紧挨着电源的PCI-USB扩展卡通了4条杜邦线接内部USB插针，然后再有4条杜邦线接在主板USB插针上，最后一起插在机箱前面板的USB排线上。

这个机箱好能装啊

这什么机箱啊？？

这次改造增加了内存，还把ESXi升级到了6.0update1，当然是分两步。

9月份新添了两条4G内存（感谢@overthink出让），于是总内存就有16GB了，一段时间内不用发愁内存不够用的问题了，除非我那天脑洞要用ZFS。
不过，虽然这4个条子都是KST的，但先前的两条是单面2B达的1600，后来这两条是双面HY的1333。当然一起插上去并没有打架，双通道也是激活的，只是速度降到1333了。

增加了内存以后还重启了下vCenter。
结果发现即使是用vSphere Web Client升级/新建虚拟机版本10的虚拟机，RDM 3T的硬盘还是有容量错误，用LSI SAS串行和VMware准虚拟都是一样，用SATA模式容量是正确的，但信息和SMART都乱掉了。所以说结果还是不够好，因此又放弃了。
还有一点就是，同样的ESXi 5.5，RDM到UNIX和LINUX的虚拟机里面就没有问题，但在Windows里面就是上面的错误。也可能是我姿势有误，但考虑到没有实效，所以再次干掉了vCenter。

10月2日进行了三个项目
1. 再尝试从浴室牌s1120上面直接引导ESXi —— 失败
2. 给LSI 9260阵列卡刷固件 —— 成功
3. 升级到ESXi 6.0update1 —— 成功

因为各种不确定因素，之前尝试引导s1120的各种努力均告失败，这是想从EFI Shell方向下手。首先在BIOS里面开启了EFI Optimize，也就是纯UEFI引导，然后在s1120上面装系统，重启以后进EFI Shell找引导分区。但是……EFI Shell根本不识别这快盘，也就是根本没有这个PCIe/SCSI设备，所以当然找不到引导分区的文件系统。因此这条路又不通，还得要解决驱动的问题。所以这条只能作罢。

刷固件没什么新鲜的，装个系统直接在MSM里面刷了就完了，保险起见这是在物理机里面弄的。虽然我有不刷固件强迫症，但这是为以后可能升级存储系统做准备。刷完新固件以及新版MSN以后，可以调整重建等任务的优先级了（也有可能是以前没发现），这还是有点用的。

因为无法在s1120上面引导系统，所以还得用X25-E做系统盘。另外还有一点是用来给ESXi 安装ISO整合驱动的ESXi-Customizer软件终止支持了，表示Win10不能用，ESXi 6.0也不能用，让你改用ESXi-Customizer-PS这个基于Shell的工具来添加。但是ESXi-Customizer-PS无论我怎么开都会报错，所以只能硬着头皮用老ESXi-Customizer，结果发现还能在ESXi 6.0的ISO上面用。

装完以后用vSphere Client 6.0登陆发现可以直接新建虚拟机版本11的虚拟机了，然后把3T的盘RDM进来容量和信息也都正常了。

目前的配置是，8x2T的RAID5是主存储，单独2T及3x3T的带区卷是主存储的备份。现在主存储的已用量已经大于备份的容量了。

很详细的说明，有用

楼主，想冒昧问一下，你这一台服务器，共享给几个人用，是怎么实现输入输出的啊？是每个人都提供一台pc机做Client？

tf0083 发表于 2016-3-16 13:57
楼主，想冒昧问一下，你这一台服务器，共享给几个人用，是怎么实现输入输出的啊？是每个人都提供一台pc机做 ...

你把我写的这几篇都看完

楼主，想请问下。你这套设备平时噪音有多大？你是放客厅还是哪呢？
已经想照着你的方案上S1200BTL+1230V2了，但应该最开始就只上4块HDD一块SSD。功耗应该不会超100W吧？（NAS+下载+软路由）

AFigoal 发表于 2016-3-28 17:49
楼主，想请问下。你这套设备平时噪音有多大？你是放客厅还是哪呢？
已经想照着你的方案上S1200BTL+1230V2了 ...

我基本听不到硬盘的声音，主要是风扇声
找地方塞个主机还是不难的，就是相对封闭
只是主板、CPU、内存和硬盘的话，功耗很低的，如果CPU还基本闲着那么到不了100W

楼主还想请教一个问题，我还是准备在S1200BTL上装两个显卡，一个是高性能的占两个插槽的显卡给主力机用，另外个是低性能的刀卡给来的客人或者桌面机用（类似你软件篇的双显卡），那么问题来了只有一个16X的PCIE，其余的都是8X，那么给刀卡用的PCIE插槽是不是要把后面挡住的给切开？
前面已经用了3个PCIE了，打算最后一个给9260-8I，请问第3个插刀卡号还是插9260-8i好？（主要纠结第3个8X和第4个8X的pcie的性能，你在硬件篇说前三个Pcie取决于CPU最后一个取决于C204芯片）

剩下的PCI插槽你是加的USB控制器，那么现在ESXI6.0支持把主板上USB给直通出去吗？

因为配件还没到齐，还在做前期准备，没有实战。问题比较低级，还请见谅。

AFigoal 发表于 2016-4-9 19:01
楼主还想请教一个问题，我还是准备在S1200BTL上装两个显卡，一个是高性能的占两个插槽的显卡给主力机用，另 ...

你可以大淘宝搜一下“增高卡”或者“PCIE增高卡”，肯定有x4/x8增高成x16的转接卡。
刀卡插在上面，用半高挡板固定住正好。
你可以看看有没有适用的半高挡板，如果显卡不自带，大淘宝也有卖的。

插哪儿无所谓，最多也就是看你更需要存储性能还是刀卡的显示性能。
我个人建议是，如果刀卡有主动散热的话，还是把阵列卡放最后一条上面，然后找个4015的风扇绑上面给做散热。
如果你机箱侧板正对的位置有开孔可以放风扇的话，上一个吹着也行，这样就不用在意散热问题了。
还有就是除了第一条插槽以外，其他插槽的供电有限，刀卡只是为了亮机的话无所谓，如果45W以上了很可能带不动。

ESXi6.0上主板USB直通不出去，到虚拟机里面连设备都没有，所以只能在PCI上面插USB卡。
但整张USB卡只能直通给一台虚拟机。

你提的这几个问题都很实用，我在设计方案的时候这些都是考虑过的。