MooseFS灾备演练实录(3)

故障3：mfsmaster主的drbd同步网络断开

模拟故障：

拔掉mfsmaster主的drbd同步的网卡em3

故障发生之前的mfsmaster主备服务器状态：

mfsmaster主：

[root@mfs-master01-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
mfs      16004     1  0 21:33 ?        00:00:00 /usr/local/mfs/sbin/mfsmaster start
[root@mfs-master01-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.27/24 brd 10.1.1.255 scope global em4
    inet 10.1.1.26/24 brd 10.1.1.255 scope global secondary em4
[root@mfs-master01-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master01-rj.btr, 2015-06-25 17:20:34
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:10348 nr:2556 dw:6464 dr:13372 al:9 bm:6 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

mfsmaster备：

[root@mfs-master02-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
[root@mfs-master02-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.28/24 brd 10.1.1.255 scope global em4
[root@mfs-master02-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master02-rj.btr, 2015-06-25 17:20:33
 0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
    ns:2556 nr:10376 dw:106672532 dr:24084 al:16 bm:6421 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

故障发生时，mfsmaster主备服务器的日志信息：

mfsmaster主：

无日志

mfsmaster主：

无日志

故障发生后，mfsmaster主备服务器的状态：

mfsmaster主：

[root@mfs-master01-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
mfs      16004     1  0 21:33 ?        00:00:00 /usr/local/mfs/sbin/mfsmaster start
[root@mfs-master01-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.27/24 brd 10.1.1.255 scope global em4
    inet 10.1.1.26/24 brd 10.1.1.255 scope global secondary em4
[root@mfs-master01-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master01-rj.btr, 2015-06-25 17:20:34
 0: cs:WFConnection ro:Primary/Unknown ds:UpToDate/DUnknown C r-----
    ns:10508 nr:2556 dw:7004 dr:13372 al:9 bm:6 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:308

mfsmaster备：

[root@mfs-master02-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
[root@mfs-master02-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.28/24 brd 10.1.1.255 scope global em4
[root@mfs-master02-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master02-rj.btr, 2015-06-25 17:20:33
 0: cs:WFConnection ro:Secondary/Unknown ds:UpToDate/DUnknown C r-----
    ns:2556 nr:10500 dw:106672656 dr:24084 al:16 bm:6421 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

mfs客户端数据恢复信息：

Thu Jun 25 20:24:15 CST 2015 4321
Thu Jun 25 20:24:16 CST 2015 4322
Thu Jun 25 20:24:17 CST 2015 4323    ######
Thu Jun 25 20:24:23 CST 2015 4324    ######
Thu Jun 25 20:24:24 CST 2015 4325
Thu Jun 25 20:24:25 CST 2015 4326
Thu Jun 25 20:24:26 CST 2015 4327

备注：

当mfsmaster的drbd同步网络断开之后，在系统的中断上会报如下信息：

恢复故障3：mfsmaster主的drbd同步网络断开

模拟故障：

插上mfsmaster主的drbd同步的网卡em3

故障恢复时，mfsmaster主备服务器的日志信息：

mfsmaster主：

无日志

mfsmaster备：

无日志

故障恢复后，mfsmaster主备服务器的状态：

mfsmaster主：

[root@mfs-master01-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
mfs      16004     1  0 21:33 ?        00:00:00 /usr/local/mfs/sbin/mfsmaster start
[root@mfs-master01-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.27/24 brd 10.1.1.255 scope global em4
    inet 10.1.1.26/24 brd 10.1.1.255 scope global secondary em4
[root@mfs-master01-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master01-rj.btr, 2015-06-25 17:20:34
 0: cs:Connected ro:Primary/Secondary ds:UpToDate/UpToDate C r-----
    ns:9932 nr:2556 dw:6048 dr:13372 al:9 bm:6 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

mfsmaster备：

[root@mfs-master02-rj ~]# ps -ef|awk '$0!~"awk"&&$0~"mfs"{print}'
[root@mfs-master02-rj ~]# ip a|grep  em4                         
5: em4: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP qlen 1000
    inet 10.1.1.28/24 brd 10.1.1.255 scope global em4
[root@mfs-master02-rj ~]# cat /proc/drbd                         
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by root@mfs-master02-rj.btr, 2015-06-25 17:20:33
 0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
    ns:2556 nr:10040 dw:106672196 dr:24084 al:16 bm:6421 lo:0 pe:0 ua:0 ap:0 ep:1 wo:d oos:0

mfs客户端数据恢复信息：

客户端无任何干扰

经过本次测试，目前线上的MooseFS运行稳定，灾难测试很成功，服务的高可用性得到了验证。
原文：http://nolinux.blog.51cto.com/4824967/1665967

转载请保留固定链接： https://linuxeye.com/Linux/2709.html

热门标签:

MooseFS灾备演练实录(3)