PCEVA,PC绝对领域,探寻真正的电脑知识
开启左侧

请教关于存储阵列与服务器的问题

[复制链接]
kinno 发表于 2017-7-31 20:32 | 显示全部楼层 |阅读模式
点击数:5535|回复数:22
本帖最后由 kinno 于 2017-7-31 20:32 编辑

工作时遇到一台5年前的ibm ds3500双控制器存储阵列+一台ibm 3850M5服务器甲。
服务器有两块emulex的光纤通道卡。
下图是存储阵列的一个控制器(就叫他控制器A吧)的背面照片。另外一个控制器(叫做B)也是一模一样的。



下面请教一些基础问题,请问:
1.图中的以太网口,sas口,FC口可以同时启用吗?可以同时接入同一台服务器吗?
2.图中有4个FC口,是不是最多只能连接4台服务器?要是需要连接更多服务器,是不是需要光纤交换机?
3.光纤交换机是如何做数据交换的呢?总不会是基于mac的吧?
4.右上角有个sas口S,这个sas口和S1,S2有什么区别?
5.服务器甲上面当前有两个光纤通道卡,其中一个接入FC6,为了数据安全,是不是应该把另外一个光纤通道卡接入控制器B的FC6?接入控制器A的FC3可不可以?有没有实际作用?
6.FC3的接口是不是叫做sfp,随便买一个线就能用吗?有没有品牌兼容性问题?
7.一般来说,存储阵列和服务器之间有没有兼容性问题?比如ibm的服务器能搭配戴尔的存储阵列吗?这个问题是不是可以简化为,存储阵列和FC卡有没有兼容问题?
8.如果再买一台新的戴尔牌服务器,配好FC卡,能否正常连接这台ds3500呢。或者反过来,买一台新的戴尔存储阵列,老的ibm服务器甲,能否正常连接?
9.能不能做到这样子:两台服务器XY都接存储阵列,X的数据库保存在阵列上,如果X挂了,让Y继续承担X的业务。(不管什么形式,手动切换也行)
10.待上图细说。11.存储阵列双控制器的目的是为了高性能,还是为了数据安全啊?如果为了数据安全,那么服务器是不是该同时连接存储阵列的AB两个控制器?
问题非常基础,谢谢各位砖家叫兽不吝赐教。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
eva2015 发表于 2017-7-31 21:04 | 显示全部楼层
1. IBM的不熟,但sas口有可能是扩充盘柜用的,不能用于接HBA卡,能不能同时用应该看情况了
2. FC接口应该是Fibre Channel,一般的用法是链接FC交换机,理论上交换机有多少口,就能连多少服务器,直接接服务器没试过。
3. FC交换机是基于一长串类似与mac地址的东西,但不是基于我们常用的TCP/IP协议的,
4. 同1,要看说明或者问厂家,是输入还是输出口。
5. 多FC口就是考虑数据冗余的。再通过FC交换机的zone设置实现链路冗余
6. 存储如果直接连服务器一般都是sas接口的厂家会提供兼容的HBA卡,跨品牌的没试过。FC协议不同于以太协议,接口速度是8G-16G这样递增的,不同品牌的FC交换机也不兼容,所以一般是打包售卖
7. 按理说,经过FC交换机的话,就不会有什么兼容问题了,就像intel的网卡和realtek的网卡从没听过不兼容的。
8. 建议配FC交换机
9. 存储阵列的双机热备技术厂家都应该有相应的技术,IBM应该也有吧,不过都是要买license的
11. 肯定是为了数据安全

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 多谢

查看全部评分

nighttob 发表于 2017-7-31 23:25 | 显示全部楼层
如你上图标的S1 S2是SAS口连主机用的,边上的S口用来连扩展柜。所有IBM存储都是这个套路,看接口的箭头图示。
你要愿意的话当然可以都连同一台主机,只不过SAS和FC之间不好弄多路径而已。
那4个FC口是选件,标配应该只有2个SAS口连主机,这也是IBM低端存储的套路。
如果你不做多路径冗余的话,双控可以分别连4个主机,也就是最多8个主机。你要想实现冗余,同时连更多的主机的话,就需要2台FC switch。
FC跟以太网是两回事,FC跟SAS类似,用的是WWN。
现在存储上常见的光纤线都是LC接口的多模光纤,这个没有特别讲究。
对IBM的存储和交换机来说,你不买他自家的SFP模块是肯定不能用的。
没有谁家的存储会说我就不兼容A家的服务器或者B家的HBA卡,但兼容问题肯定是存在的,在FC这里并不显著。
只要光纤线2端的SFP速率是一样的就行,一边8G一边16G肯定通不了。
2台主机做cluster,把存储的LUN映射给2台主机,配置好多路径就行。想手动的话就重新映射主机。

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 多谢指导

查看全部评分

qwertykwl 发表于 2017-8-1 08:35 | 显示全部楼层
来看看的啊,,,,,,,,,,,
kinno  楼主| 发表于 2017-8-1 10:51 | 显示全部楼层
本帖最后由 kinno 于 2017-8-1 11:44 编辑

@eva2015 @nighttob
那我继续问了哈:
1.现在是服务器甲通过FC直接连接存储阵列,在服务器的磁盘管理里面,可以看见未初始化的磁盘阵列,也就是有个未初始化的磁盘,容量就是磁盘阵列raid之后的大小。我有点不明白,如果当前服务器甲就初始化这个磁盘,开始使用,那么其他服务器即使连接到存储阵列,还能在Windows里像普通磁盘一样使用这个存储阵列吗?这个存储阵列的全部容量不是已经被甲使用了吗?
2.有没有途径看见当前FC的速度,Windows的设备管理器里好像是没看见。(找到了emulex hbanyware软件,看见了速度是8gbps
3.16g的fc卡,能不能自动降速来适应老的8g口存储阵列?
4.能不能说说“把存储的LUN映射给2台主机,配置好多路径就行”这句。我现在还没见过两台服务器同时连接一个存储阵列(FC交换机不要想了),是不是当另外一台服务器乙接入存储阵列后,这台服务器也会多出一个未初始化的磁盘?如果乙去初始化它,会不会抹掉之前甲写入的内容?这么理解对不对
5.“把存储的LUN映射给2台主机”这个能介绍一下怎么做么;“配置好多路径就行”这个还得请指教,目前没有FC交换机,能实现吗?倒是有若干FC卡。
6.这台ibm ds3500存储阵列的管理软件是不是叫做storage manager?通过E1配置ip访问管理?
7.同款sfp模块是随意替换的吗?不需要做配置吧?(测试了,可以。但是拿avago的sfp替换jdsu,就不行,看来不同牌子是有区别的,不能随便买。
8.不同的FC是即插即用的吗?刚才我把一条正常工作的FC线缆,服务器端拔下来,换到了同一台服务器的另外一个FC卡上,等了好久这张FC卡的工作指示灯都不正常。是不是需要配置啊?
不要客气,请多多指教。
dboy99 发表于 2017-8-1 11:34 | 显示全部楼层
双主控是为了安全,在使用中是一用一备的关系

ds3500可以同时接两个服务器,存储里的lun可以自由映射给任意服务器,映射之后服务器才能识别对应的lun

ds3500可以用软件管理,但是在双主控的情况下需要要通过一个交换机才能连接到管理PC

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 谢谢

查看全部评分

kinno  楼主| 发表于 2017-8-1 11:42 | 显示全部楼层
dboy99 发表于 2017-8-1 11:34
双主控是为了安全,在使用中是一用一备的关系

ds3500可以同时接两个服务器,存储里的lun可以自由映射给任 ...

谢谢。
我不太懂映射的意思,能不能介绍一下。
关于管理ds3500,不能通过主控上的以太网口进行管理吗?反正以太网口也没什么用
nighttob 发表于 2017-8-1 11:48 | 显示全部楼层
FC跟SAS、SCSI一样是Initiator-Target的工作模式,Initiator是主机HBA和驱动,Target是存储和LUN。
同一个LUN可以映射给多个主机,但多个主机在未合理配置的情况下同时写入就会造成数据损坏。
FC端口的速度可以在HBA卡的管理工具、FC switch还有存储的端口管理器里面看到。
你插8G的SFP模块就行。
是的,所以要给主机做cluster。
IBM有多路径软件,windows下面直接安装。直连存储也不用交换机。
管理软件具体叫啥我不知道,一般单机都是进管理口去设置。
SFP模块也不是随便换,是有兼容性要求的,这东西是被动的没得可配置。
你是把线拔了还是SFP模块拔了,系统里面热插拔SFP是可能死机的。我不知道你存储那端是怎么设置主机映射的。这种情况重启主机应该就好。

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 学习,学习

查看全部评分

XXHJACK 发表于 2017-8-1 12:13 | 显示全部楼层
本帖最后由 XXHJACK 于 2017-8-1 12:43 编辑

1.sas口是连扩展柜(主控)的不能连电脑。fc和和网口的话如果你这个是光纤san的话很可能只是管理口,具体要看网口设备支不支持ISCSI模式。一般来说光纤san不支持的。
2.是的。
3.fc的协议(16G和以前的不太一样)
4.左边的是输入口,右边的输出(注意是链接其它主控而不是电脑和sas交换机)具体要看厂家说明,一般光纤san是不支持sas san的输出的。
5.为安全应该接入b控的任意一个fc口,实际是接入任何一个fc口都可以的。只是说接入a控的fc口只能保证模块坏掉有冗余。
6.sfp和sfp+,只能买兼容此品牌的模块,微码稍微不同。
7.必须没有,有就不用卖了。再说实际上的传输厂商就2家(就是存储和服务器,存储和存储连接的光纤链路物理设备芯片提供商)
8.当然可以。
9.存储就是为了这个功能才出现的。
11.双控是为了数据安全,性能提升是次要的。

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 谢谢,慢慢消化一下

查看全部评分

XXHJACK 发表于 2017-8-1 12:39 | 显示全部楼层
本帖最后由 XXHJACK 于 2017-8-1 23:30 编辑
kinno 发表于 2017-8-1 10:51
@eva2015 @nighttob
那我继续问了哈:
1.现在是服务器甲通过FC直接连接存储阵列,在服务器的磁盘管理里面 ...

1.你格式化以后其它的服务器连上就是直接格式化后的容量了,windows系统里其它服务器只需要添加个盘符。
2.你已经查到就不说了!
3.可以的。
4.不对!1已经回复了情况,关于lun的配置就是将阵列或者阵列的分区分配给fc/sas端口的标号而已,切忌不要用其他服务器去格式化,如果你想隔离使用就对阵列分区单独lun到每台需要的机器上去。exsi的话不建议裸映射。
5.没有fc交换机直接将lun映射到所有端口就行了。具体的每个牌子的操作不同请看说明书,hp的只要点几下就行。还有建议你把这玩意搞熟了再上数据,空机自己挂着玩1个月什么都会了。就和操作一个大硬盘差不多。
6.ibm的没玩过,大多数牌子有直接有web的配置界面。
7.已经在第一次回复里回复你了,不要随便拿来插,锁端口了就麻烦了。
8.是即插即用的,但其千万不能在读写数据的时候插拔,这个我想大家都懂。还有没事不要老去拔光纤,这个不像网卡的,也是会锁端口的。你的情况应该是存储需要手动做映射,即没有将这个卡配置在存储里。不过现在新一些的存储都不需要手动配了。切忌不要向你这么搞,多找根光纤插第二个hba卡也好啊,有些牌子的锁了很麻烦的。

eterfinity 发表于 2017-8-2 10:14 | 显示全部楼层
关于两台服务器一热一冷备   。
作为冷备的一台服务器只要做好 HBA wwn注册,映射LUN , 就不要开机了。
平时记得对热机做全备份镜像。
因为windows ntfs  即使你没有去自己操作读写,还是会有读写, 没有仲裁或者群集文件系统的时候, 冷备机不应该挂着LUN保持开机状态。

然后  这个存储老了。  记得保存好串口线。
万一逻辑原因锁控制器了,

串口连上,ctrl+break激活终端会话,
用户是shellUsr
密码是DF4m/2>
进入后输入lemClearLockdown ;  解锁

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 多谢

查看全部评分

kinno  楼主| 发表于 2017-8-2 13:08 | 显示全部楼层
eterfinity 发表于 2017-8-2 10:14
关于两台服务器一热一冷备   。
作为冷备的一台服务器只要做好 HBA wwn注册,映射LUN , 就不要开机了。
平 ...

今天用storage manager连进去了,可以查看状态,但是修改配置需要密码,我根本不记得了,如何破。
下一步研究下存储与服务器的映射问题,第一次接触,问题多多啊。
kinno  楼主| 发表于 2017-8-2 16:37 | 显示全部楼层
@nighttob @eva2015 @XXHJACK @eterfinity
4位大侠,我用storage manager进去管理页面,做配置的时候需要密码,我根本不记得。
搜了一下可以用Telnet清除,但是从一楼的图来看,好像没有接串口的地方,怎么办呀?
难道是最左边的那个黑圆圈?
nighttob 发表于 2017-8-2 16:45 | 显示全部楼层
kinno 发表于 2017-8-2 16:37
@nighttob @eva2015 @XXHJACK @eterfinity
4位大侠,我用storage manager进去管理页面,做配置的时候需要 ...

对,就是那个黑圈,里面有个串口。但不是常见的DB-9规格的串口,具体长啥样我没见过。
你可以搜索一下DS3500的红皮书,里面写的很详细。

XXHJACK 发表于 2017-8-2 16:47 | 显示全部楼层
kinno 发表于 2017-8-2 16:37
@nighttob @eva2015 @XXHJACK @eterfinity
4位大侠,我用storage manager进去管理页面,做配置的时候需要 ...

ibm存储的默认账号和密码superuser/passw0rd (0数字)
kinno  楼主| 发表于 2017-8-2 17:00 | 显示全部楼层
XXHJACK 发表于 2017-8-2 16:47
ibm存储的默认账号和密码superuser/passw0rd (0数字)


是这样子的,没有要求输入用户名。passw0rd好像也是不对
好囧,几天发生两个设备密码丢失的问题了

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x
XXHJACK 发表于 2017-8-2 17:11 | 显示全部楼层
kinno 发表于 2017-8-2 17:00
是这样子的,没有要求输入用户名。passw0rd好像也是不对
好囧,几天发生两个设备密码丢失的问题了

非默认的我就不知道了..................你看看其它人知道不。或者回想下自己设置的是啥

eterfinity 发表于 2017-8-3 07:18 | 显示全部楼层
本帖最后由 eterfinity 于 2017-8-3 07:24 编辑
XXHJACK 发表于 2017-8-2 17:11
非默认的我就不知道了..................你看看其它人知道不。或者回想下自己设置的是啥

...

串口线连上以后
按ctrl+break
会出一行字,注意看,有个按xxx键进入服务模式的提示,你必须在几秒内按这个键。
然后会提示你输入密码,输对了进去可以看ip 清密码
但ibm的密码我不知道

另外一种方法
串口线连上以后
按ctrl+break 然后出字以后esc
用户名
用户:shellUsr
密码:DF4m/2>    或者 wy3oo&w4    前者是LSI/netAPP解决方案通用密码,后者是IBM私有密码         
之后执行一条命令:spriMenuPwdReset 然后输入 Y   密码就没了
过程如下
VxWorks login: shellUsr
  Password:


  ->
  ->
-> spriMenuPwdReset

  Are you sure that you want to reset the Storage Array Password ? (Y/N): y

  Storage Array Password reset successful
  value = 42 = 0x2a = '*'
  ->




如果上面的不行,重连串口执行如下三条命令:
loadDebug
setSAPassword_MT ""
unld "ffs:Debug"
也能清密码


nighttob 发表于 2017-8-3 08:55 | 显示全部楼层
eterfinity 发表于 2017-8-3 07:18
串口线连上以后
按ctrl+break
会出一行字,注意看,有个按xxx键进入服务模式的提示,你必须在几秒内按这 ...

这方法是靠谱的,可以用在DS系列上面。
dixnuits 发表于 2017-8-10 13:18 | 显示全部楼层
1、以太网口是console/management用的,并不能做iSCSI/NFS的服务IP。SAS口是连接磁盘柜的。FC口4个可以同时启用。
2、因为是双控,有存储多路径问题,所以,强烈建议通过FC SAN交换机。
3、SAN交换机走FCP协议,通过WWN寻址。
4、应该没区别。但如果是链接超过3个磁盘柜,则只能采用S1,S2连接。具体连接方式可以看文档。
5、接那个口都可以,但需要配置多路径软件。
6、FC4的接口形态叫SFP/SFP+,FC3已经安装了模块。模块接口是LC。关于跳线的问题,存储跳线使用多模光纤,最好OM3级别或以上。
7、一般没有兼容性问题。这个就和以太网一样,cisco的交换机和intel的网卡一般都不会有兼容性问题,因为走的都是标准协议。
8、这个一般叫做HBA卡,连接使用都不会有问题。
9、可以。一般双机/集群都是需要通过共享存储实现的。
11、为了高可用性。双控一般来说并不能提高性能(有些厂商可以做,还可以把两个控制器拆开,如netapp)。通过FC交换机,即可连接两个控制器,配置多路径后即可正常使用。

评分

参与人数 1绝对值 +1 收起 理由
kinno + 1 谢谢

查看全部评分

您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部