求助SVM RAID1换盘怪现象

kwtip

机器是V490，两个盘SVM里第一块盘的D20镜像坏了需要修复，状态如下。

d20: Mirror
    Submirror 0: d21
      State: Needs maintenance
    Submirror 1: d22
      State: Needs maintenance
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 49170432 blocks (23 GB)

d21: Submirror of d20
    State: Needs maintenance
    Invoke: after replacing "Maintenance" components:
                metareplace d20 c2t0d0s1 <new device>
    Size: 49170432 blocks (23 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s1          0     No      Last Erred   Yes


d22: Submirror of d20
    State: Needs maintenance
    Invoke: metasync d20
    Size: 49170432 blocks (23 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s1          0     No            Okay   Yes


d6: Mirror
    Submirror 0: d4
      State: Okay         
    Submirror 1: d5
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 20494464 blocks (9.8 GB)

d4: Submirror of d6
    State: Okay         
    Size: 20494464 blocks (9.8 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s6          0     No            Okay   Yes


d5: Submirror of d6
    State: Okay         
    Size: 20494464 blocks (9.8 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s6          0     No            Okay   Yes


d3: Mirror
    Submirror 0: d1
      State: Okay         
    Submirror 1: d2
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 10257408 blocks (4.9 GB)

d1: Submirror of d3
    State: Okay         
    Size: 10257408 blocks (4.9 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s5          0     No            Okay   Yes


d2: Submirror of d3
    State: Okay         
    Size: 10257408 blocks (4.9 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s5          0     No            Okay   Yes


d10: Mirror
    Submirror 0: d11
      State: Okay         
    Submirror 1: d12
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 40968576 blocks (19 GB)

d11: Submirror of d10
    State: Okay         
    Size: 40968576 blocks (19 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s0          0     No            Okay   Yes


d12: Submirror of d10
    State: Okay         
    Size: 40968576 blocks (19 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s0          0     No            Okay   Yes


d70: Mirror
    Submirror 0: d71
      State: Okay         
    Submirror 1: d72
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 88388736 blocks (42 GB)

d71: Submirror of d70
    State: Okay         
    Size: 88388736 blocks (42 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s4          0     No            Okay   Yes


d72: Submirror of d70
    State: Okay         
    Size: 88388736 blocks (42 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s4          0     No            Okay   Yes


Device Relocation Information:
Device   Reloc        Device ID
c2t1d0   Yes          id1,ssd@n200000008748511a
c2t0d0   Yes          id1,ssd@n2000000087931284

我在客户那里更换硬盘，步骤如下
metadb -d /dev/dsk/c2t0d0s3                数据在S3上，我先删掉数据，
然后拔出这块坏盘，插上好盘devfsadm，然后同步硬盘分区表
prtvtoc /dev/rdsk/c2t1d0s2|fmthard –s – /dev/rdsk/c2t0d0s2
在创建数据库metadb -afc 1 /dev/dsk/c2t0d0s3
然后修复raid卷
metareplace -e d20 c2t0d0s1
metareplace -e d6 c2t0d0s6
metareplace -e d3 c2t0d0s5
metareplace -e d10 c2t0d0s0
metareplace -e d70 c2t0d0s4
到修复raid卷这步问题出现了，运行metareplace时提示以下错误

24ksh# metareplace -e d10 c2t0d0s0
metareplace: zwsesn001: No such file or directory

root@zwsesn001:/root
25ksh# metareplace -e d3 c2t0d0s5
metareplace: zwsesn001: No such file or directory

root@zwsesn001:/root
26ksh# metareplace -e d6 c2t0d0s6
metareplace: zwsesn001: No such file or directory

只有D70可以修复同步数据，运行完metareplace以后奇怪了，D20里的D21和D22没了消失了，metastat状态如下

27ksh# metastat
d20: Mirror
    Submirror 0: d21
      State: Needs maintenance
    Submirror 1: d22
      State: Needs maintenance
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 49170432 blocks (23 GB)

d21: Submirror of d20                                  d21和D22没了
    State: Needs maintenance
d6: Mirror
    Submirror 0: d4
      State: Needs maintenance
    Submirror 1: d5
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 20494464 blocks (9.8 GB)

d4: Submirror of d6
    State: Needs maintenance
    Invoke: metareplace d6 c2t0d0s6 <new device>
    Size: 20494464 blocks (9.8 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s6          0     No     Maintenance   Yes


d5: Submirror of d6
    State: Okay         
    Size: 20494464 blocks (9.8 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s6          0     No            Okay   Yes


d3: Mirror
    Submirror 0: d1
      State: Needs maintenance
    Submirror 1: d2
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 10257408 blocks (4.9 GB)

d1: Submirror of d3
    State: Needs maintenance
    Invoke: metareplace d3 c2t0d0s5 <new device>
    Size: 10257408 blocks (4.9 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s5          0     No     Maintenance   Yes


d2: Submirror of d3
    State: Okay         
    Size: 10257408 blocks (4.9 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s5          0     No            Okay   Yes


d10: Mirror
    Submirror 0: d11
      State: Needs maintenance
    Submirror 1: d12
      State: Okay         
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 40968576 blocks (19 GB)

d11: Submirror of d10
    State: Needs maintenance
    Invoke: metareplace d10 c2t0d0s0 <new device>
    Size: 40968576 blocks (19 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s0          0     No     Maintenance   Yes


d12: Submirror of d10
    State: Okay         
    Size: 40968576 blocks (19 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s0          0     No            Okay   Yes


d70: Mirror
    Submirror 0: d71
      State: Resyncing   
    Submirror 1: d72
      State: Okay         
    Resync in progress: 9 % done
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 88388736 blocks (42 GB)

d71: Submirror of d70
    State: Resyncing   
    Size: 88388736 blocks (42 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s4          0     No       Resyncing   Yes


d72: Submirror of d70
    State: Okay         
    Size: 88388736 blocks (42 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s4          0     No            Okay   Yes

只有D70可以修复其他全提示 No such file or directory  

28ksh# metastat -p
d20 -m d21 d22 1
d6 -m d4 d5 1
d4 1 1 c2t0d0s6
d5 1 1 c2t1d0s6
d3 -m d1 d2 1
d1 1 1 c2t0d0s5
d2 1 1 c2t1d0s5
d10 -m d11 d12 1
d11 1 1 c2t0d0s0
d12 1 1 c2t1d0s0
d70 -m d71 d72 1
d71 1 1 c2t0d0s4
d72 1 1 c2t1d0s4

然后我format发现分区好像有点不对劲

partition> p
Current partition table (original):
Total disk cylinders available: 14087 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders         Size            Blocks
  0 unassigned    wm       0 -  2012       19.54GB    (2013/0/0)   40968576
  1 unassigned    wm    2013 -  4428       23.45GB    (2416/0/0)   49170432
  2     backup    wm       0 - 14086      136.71GB    (14087/0/0) 286698624
  3 unassigned    wm    4429 -  4430       19.88MB    (2/0/0)         40704
  4 unassigned    wm    4431 -  8773       42.15GB    (4343/0/0)   88388736
  5 unassigned    wm    8774 -  9277        4.89GB    (504/0/0)    10257408
  6 unassigned    wm    9278 - 10284        9.77GB    (1007/0/0)   20494464
  7 unassigned    wm   10285 - 14086       36.90GB    (3802/0/0)   77378304

为什么TAG那一列里全是unassigned呢
我又换回了原先的坏盘，然后format提示选择硬盘类型

@:/root !ksh format
Searching for disks...done


AVAILABLE DISK SELECTIONS:
       0. c2t0d0 <drive not available>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000879fdc04,0
       1. c2t1d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w210000008748511a,0
       2. c6t600C0FF0000000000B573E0CDADF7A00d0 <SUN-StorEdge3510-423A cyl 35148 alt 2 hd 64 sec 127>
          /scsi_vhci/ssd@g600c0ff0000000000b573e0cdadf7a00
       3. c6t600C0FF0000000000B573E00D0DEA300d0 <SUN-StorEdge3510-423A cyl 35148 alt 2 hd 64 sec 127>
          /scsi_vhci/ssd@g600c0ff0000000000b573e00d0dea300
Specify disk (enter its number): 0



AVAILABLE DRIVE TYPES:
        0. Auto configure
        1. Quantum ProDrive 80S
        2. Quantum ProDrive 105S
        3. CDC Wren IV 94171-344
        4. SUN0104
        5. SUN0207
        6. SUN0327
        7. SUN0340
        8. SUN0424
        9. SUN0535
        10. SUN0669
        11. SUN1.0G
        12. SUN1.05
        13. SUN1.3G
        14. SUN2.1G
        15. SUN2.9G
        16. Zip 100
        17. Zip 250
        18. Peerless 10GB
        19. SUN146G
        20. SUN-StorEdge3510-423A
        21. other
Specify disk type (enter its number): 0
Auto configure failed


FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !<cmd>     - execute <cmd>, then return
        quit
format> p
Current Disk Type is not set.
format> t


AVAILABLE DRIVE TYPES:
        0. Auto configure
        1. Quantum ProDrive 80S
        2. Quantum ProDrive 105S
        3. CDC Wren IV 94171-344
        4. SUN0104
        5. SUN0207
        6. SUN0327
        7. SUN0340
        8. SUN0424
        9. SUN0535
        10. SUN0669
        11. SUN1.0G
        12. SUN1.05
        13. SUN1.3G
        14. SUN2.1G
        15. SUN2.9G
        16. Zip 100
        17. Zip 250
        18. Peerless 10GB
        19. SUN146G
        20. SUN-StorEdge3510-423A
        21. other
Specify disk type (enter its number): 0
Auto configure failed
format> p
Current Disk Type is not set.
format> t


AVAILABLE DRIVE TYPES:
        0. Auto configure
        1. Quantum ProDrive 80S
        2. Quantum ProDrive 105S
        3. CDC Wren IV 94171-344
        4. SUN0104
        5. SUN0207
        6. SUN0327
        7. SUN0340
        8. SUN0424
        9. SUN0535
        10. SUN0669
        11. SUN1.0G
        12. SUN1.05
        13. SUN1.3G
        14. SUN2.1G
        15. SUN2.9G
        16. Zip 100
        17. Zip 250
        18. Peerless 10GB
        19. SUN146G
        20. SUN-StorEdge3510-423A
        21. other
Specify disk type (enter its number): 19
selecting c2t0d0
[disk unformatted]
format> p


PARTITION MENU:
        0      - change `0' partition
        1      - change `1' partition
        2      - change `2' partition
        3      - change `3' partition
        4      - change `4' partition
        5      - change `5' partition
        6      - change `6' partition
        7      - change `7' partition
        select - select a predefined table
        modify - modify a predefined partition table
        name   - name the current table
        print  - display the current table
        label  - write partition map and label to the disk
        !<cmd> - execute <cmd>, then return
        quit
partition> p
Current partition table (original):
Total disk cylinders available: 14087 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders         Size            Blocks
  0 unassigned    wm       0 -  2012       19.54GB    (2013/0/0)   40968576
  1 unassigned    wm    2013 -  4428       23.45GB    (2416/0/0)   49170432
  2     backup    wm       0 - 14086      136.71GB    (14087/0/0) 286698624
  3 unassigned    wm    4429 -  4430       19.88MB    (2/0/0)         40704
  4 unassigned    wm    4431 -  8773       42.15GB    (4343/0/0)   88388736
  5 unassigned    wm    8774 -  9277        4.89GB    (504/0/0)    10257408
  6 unassigned    wm    9278 - 10284        9.77GB    (1007/0/0)   20494464
  7 unassigned    wm   10285 - 14086       36.90GB    (3802/0/0)   77378304

partition> q

因为机器不能停，所以就没有在换硬盘，客户怕宕机要求找到问题所在，各位大神帮忙看看我现在应该怎么做？而且不知道现在机器重启后能不能起的来，还要什么信息吗？我在贴。

kwtip

星期天没人上论坛？我是不是该把raid卷拆掉，都新重做呢？大神们回话啊。

zhaopingzi

你的盘没有被系统正确认到吧

znnnz

把坏盘上的一路子镜像全部拆掉，并且删掉，换上新盘重新做镜像

小耳硕鼠

换盘之前的 format状态呢？
很明显没有正常识别到盘

kwtip

也就是说我换上去的新硬盘没有正常识别到？我换完盘以后format里能看到我换上去的盘，我同步分区时也可以正常同步，也看了一下分区表是一样，D20镜像里的D21和D22消失，原因可能是在没更换之前D21需要修复，D22需要同步，换之前没看到还以为只有D21坏了呢，换完盘后D20里的两个卷就消失了。

d20: Mirror
    Submirror 0: d21
      State: Needs maintenance
    Submirror 1: d22
      State: Needs maintenance
    Pass: 1
    Read option: roundrobin (default)
    Write option: parallel (default)
    Size: 49170432 blocks (23 GB)

d21: Submirror of d20
    State: Needs maintenance
    Invoke: after replacing "Maintenance" components:
                metareplace d20 c2t0d0s1 <new device>                          需要修复
    Size: 49170432 blocks (23 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t0d0s1          0     No      Last Erred   Yes


d22: Submirror of d20
    State: Needs maintenance
    Invoke: metasync d20                                         需要同步
    Size: 49170432 blocks (23 GB)
    Stripe 0:
        Device     Start Block  Dbase        State Reloc Hot Spare
        c2t1d0s1          0     No            Okay   Yes


我现在能做的也就是四楼说的，把坏盘的一路全删掉，然后重新在做，D20的镜像卷是不是也得删掉重做，另外这个D20卷里的分区是SWAP分，不知道会对系统和客户的软件有没有影响。

zhaopingzi

      0. c2t0d0 <drive not available>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000879fdc04,0

状态都不对

kwtip

楼上的哥，这个是更换硬盘不成功又换回坏盘时的format，好像忘了打devfsadm了。
这个是换上新硬时的format，分区也同步过来了。

@:/etc !ksh format
Searching for disks...done

AVAILABLE DISK SELECTIONS:
       0. c2t0d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w21000000879fdc04,0
       1. c2t1d0 <SUN146G cyl 14087 alt 2 hd 24 sec 848>
          /pci@9,600000/SUNW,qlc@2/fp@0,0/ssd@w210000008748511a,0
       2. c6t600C0FF0000000000B573E0CDADF7A00d0 <SUN-StorEdge3510-423A cyl 35148 alt 2 hd 64 sec 127>
          /scsi_vhci/ssd@g600c0ff0000000000b573e0cdadf7a00
       3. c6t600C0FF0000000000B573E00D0DEA300d0 <SUN-StorEdge3510-423A cyl 35148 alt 2 hd 64 sec 127>
          /scsi_vhci/ssd@g600c0ff0000000000b573e00d0dea300
Specify disk (enter its number): 1
selecting c2t1d0
[disk formatted]
/dev/dsk/c2t1d0s0 is part of SVM volume stripe:d12. Please see metaclear(1M).
/dev/dsk/c2t1d0s1 is part of SVM volume stripe:d22. Please see metaclear(1M).
/dev/dsk/c2t1d0s3 contains an SVM mdb. Please see metadb(1M).
/dev/dsk/c2t1d0s4 is part of SVM volume stripe:d72. Please see metaclear(1M).
/dev/dsk/c2t1d0s5 is part of SVM volume stripe:d2. Please see metaclear(1M).
/dev/dsk/c2t1d0s6 is part of SVM volume stripe:d5. Please see metaclear(1M).


FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !<cmd>     - execute <cmd>, then return
        quit
format> p


PARTITION MENU:
        0      - change `0' partition
        1      - change `1' partition
        2      - change `2' partition
        3      - change `3' partition
        4      - change `4' partition
        5      - change `5' partition
        6      - change `6' partition
        7      - change `7' partition
        select - select a predefined table
        modify - modify a predefined partition table
        name   - name the current table
        print  - display the current table
        label  - write partition map and label to the disk
        !<cmd> - execute <cmd>, then return
        quit
partition> p
Current partition table (original):
Total disk cylinders available: 14087 + 2 (reserved cylinders)

Part      Tag    Flag     Cylinders         Size            Blocks
  0 unassigned    wm       0 -  2012       19.54GB    (2013/0/0)   40968576
  1 unassigned    wm    2013 -  4428       23.45GB    (2416/0/0)   49170432
  2     backup    wm       0 - 14086      136.71GB    (14087/0/0) 286698624
  3 unassigned    wm    4429 -  4430       19.88MB    (2/0/0)         40704
  4 unassigned    wm    4431 -  8773       42.15GB    (4343/0/0)   88388736
  5 unassigned    wm    8774 -  9277        4.89GB    (504/0/0)    10257408
  6 unassigned    wm    9278 - 10284        9.77GB    (1007/0/0)   20494464
  7 unassigned    wm   10285 - 14086       36.90GB    (3802/0/0)   77378304

partition> q


FORMAT MENU:
        disk       - select a disk
        type       - select (define) a disk type
        partition  - select (define) a partition table
        current    - describe the current disk
        format     - format and analyze the disk
        repair     - repair a defective sector
        label      - write label to the disk
        analyze    - surface analysis
        defect     - defect list management
        backup     - search for backup labels
        verify     - read and display labels
        save       - save new disk/partition definitions
        inquiry    - show vendor, product and revision
        volname    - set 8-character volume name
        !<cmd>     - execute <cmd>, then return
        quit
format> q