Pomoc RAID5 inactive po przerwanej odbudowie

pracek · 15 Czerwiec 2014

Witam Szanownych Forumowiczów,
Wczoraj zdarzyła mi się awaria macierzy (drugi Seagate w ciągu 3 miesięcy:/). RAID5 zbudowany jest na 4rech dyskach, 5ty skonfigurowany jako hot spare - po awarii rozpoczęła się automatyczna przebudowa. Uszkodzony dysk wyciągnąłem, wsadziłem nowy. Przy około 70% brakło prądu... (nieszczęśliwy zbieg okoliczności - chwilę temu awarię zaliczył UPS). Po restarcie wolumin ma status nieaktywny, próba przywrócenia z GUI kończy się porażką. Restart maszyny nic nie zmienia (piję tutaj do wątku: Rozwiązany - Przywrócenie RAID5 (inactive)).

Sytuacja wygląda tak:

Kod:

[~] # cat /proc/mdstat
Personalities : [linear] [raid0] [raid1] [raid10] [raid6] [raid5] [raid4] [multipath]
md5 : active raid1 sde2[2](S) sdd2[3](S) sdc2[4](S) sdb2[1] sda2[0]
      530048 blocks [2/2] [UU]

md13 : active raid1 sda4[0] sde4[4] sdd4[3] sdc4[2] sdb4[1]
      458880 blocks [5/5] [UUUUU]
      bitmap: 0/57 pages [0KB], 4KB chunk

md9 : active raid1 sda1[0] sde1[4] sdd1[3] sdc1[2] sdb1[1]
      530048 blocks [5/5] [UUUUU]
      bitmap: 0/65 pages [0KB], 4KB chunk

unused devices: <none>

Kod:

[~] # mdadm /dev/md0
/dev/md0: is an md device which is not active

Kod:

[~] # fdisk -l

Disk /dev/sdb: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sdc: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sdd: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdd1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sde: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sde1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sda: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sda1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sda4: 469 MB, 469893120 bytes
2 heads, 4 sectors/track, 114720 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/sda4 doesn't contain a valid partition table

Disk /dev/sdx: 515 MB, 515899392 bytes
8 heads, 32 sectors/track, 3936 cylinders
Units = cylinders of 256 * 512 = 131072 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdx1               1          17        2160   83  Linux
/dev/sdx2              18        1910      242304   83  Linux
/dev/sdx3            1911        3803      242304   83  Linux
/dev/sdx4            3804        3936       17024    5  Extended
/dev/sdx5            3804        3868        8304   83  Linux
/dev/sdx6            3869        3936        8688   83  Linux

Disk /dev/md9: 542 MB, 542769152 bytes
2 heads, 4 sectors/track, 132512 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md9 doesn't contain a valid partition table

Disk /dev/md5: 542 MB, 542769152 bytes
2 heads, 4 sectors/track, 132512 cylinders
Units = cylinders of 8 * 512 = 4096 bytes

Disk /dev/md5 doesn't contain a valid partition table

Wszystkie aktualnie wpięte dyski wyglądają dobrze (SMART ok)

Pomóżcie proszę. Z góry dziękuję za sugestie i pomoc.
Piotrek

----- UPDATE ----------
Nie wiem czy to ma znaczenie, ale:

Kod:

[~] # cat /etc/mdadm.conf
ARRAY /dev/md0 devices=/dev/sde3,/dev/sda3,/dev/sdc3,/dev/sdd3

A fdisk pokazuje /dev/sda1 itp

----- UPDATE ----------
Chyba sam sobie odpowiem

Kod:

mdadm -A /dev/md0 -f --update=summaries /dev/sdc3 /dev/sdd3 /dev/sde3
mdadm /dev/md0 -a /dev/sda3

Odbudowa w trakcie, mam nadzieję, że zadziała

Usunięty użytkownik pigers · 15 Czerwiec 2014

dyska są na miejscu, odbudowałeś macierz i czekasz na odbudowe

Gratulacje! Nie zapomnij pochwalić się wynikami

PS: Przyśpiesz trochę tą odbudowę: QNAP – raid recovery speed up | Blog M0Cy

pracek · 15 Czerwiec 2014

Natrafiłem na dziwny problem. Na terminalu polecenie

Kod:

cat /proc/mdstat

wisi (aż do ubicia ctrl-c). Dla odmiany

Kod:

[~] # fdisk -l

Disk /dev/sdb: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdb1               1      267350  2147483647+  ee  EFI GPT

Disk /dev/sdc: 3000.5 GB, 3000592982016 bytes
255 heads, 63 sectors/track, 364801 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes

   Device Boot      Start         End      Blocks   Id  System
/dev/sdc1               1      267350  2147483647+  ee  EFI GPT

I w tym momencie zwisa...
Podobnie wisi

Kod:

 mdadm --detail /dev/md0

W logach znajduje się coś takiego:

Kod:

<6>[ 4343.033809] md/raid:md0: device sde3 operational as raid disk 0
<6>[ 4343.035723] md/raid:md0: device sdd3 operational as raid disk 3
<6>[ 4343.037940] md/raid:md0: device sdc3 operational as raid disk 2
<6>[ 4343.052184] md/raid:md0: allocated 68992kB
<1>[ 4343.054188] md/raid:md0: raid level 5 active with 3 out of 4 devices, algorithm 2
<7>[ 4343.056426] RAID conf printout:
<7>[ 4343.056433]  --- level:5 rd:4 wd:3
<7>[ 4343.056440]  disk 0, o:1, dev:sde3
<7>[ 4343.056445]  disk 2, o:1, dev:sdc3
<7>[ 4343.056450]  disk 3, o:1, dev:sdd3
<6>[ 4343.056513] md0: detected capacity change from 0 to 8996958830592
<6>[ 4344.454343]  md0: unknown partition table
<6>[ 4365.676180] md: export_rdev(sda3)
<6>[ 4365.727766] md: bind<sda3>
<7>[ 4365.769676] RAID conf printout:
<7>[ 4365.769685]  --- level:5 rd:4 wd:3
<7>[ 4365.769692]  disk 0, o:1, dev:sde3
<7>[ 4365.769698]  disk 1, o:1, dev:sda3
<7>[ 4365.769705]  disk 2, o:1, dev:sdc3
<7>[ 4365.769711]  disk 3, o:1, dev:sdd3
<6>[ 4365.769918] md: recovery of RAID array md0
<6>[ 4365.772328] md: minimum _guaranteed_  speed: 5000 KB/sec/disk.
<6>[ 4365.774401] md: using maximum available idle IO bandwidth (but not more than 200000 KB/sec) for recovery.
<6>[ 4365.776573] md: Recovering started: md0
<6>[ 4365.778776] md: using 128k window, over a total of 2928697536k.
<3>[24520.322265] ata10.00: exception Emask 0x0 SAct 0x7fffffff SErr 0x0 action 0x0
<3>[24520.324628] ata10.00: irq_stat 0x40000008
<3>[24520.326986] ata10.00: failed command: READ FPDMA QUEUED
<3>[24520.329388] ata10.00: cmd 60/00:18:e8:78:0e/04:00:f6:00:00/40 tag 3 ncq 524288 in
<3>[24520.329391]          res 41/40:00:68:7a:0e/00:04:f6:00:00/00 Emask 0x409 (media error) <F>
<3>[24520.334447] ata10.00: status: { DRDY ERR }
<3>[24520.337047] ata10.00: error: { UNC }
<6>[24520.341063] ata10.00: configured for UDMA/133
<6>[24520.343800] ata10: EH complete
<3>[24524.506083] ata10.00: exception Emask 0x0 SAct 0x7ff5ecdb SErr 0x0 action 0x0
<3>[24524.508880] ata10.00: irq_stat 0x40000008
<3>[24524.511616] ata10.00: failed command: READ FPDMA QUEUED
<3>[24524.514425] ata10.00: cmd 60/00:c0:e8:84:0e/04:00:f6:00:00/40 tag 24 ncq 524288 in
<3>[24524.514429]          res 41/40:00:00:85:0e/00:04:f6:00:00/00 Emask 0x409 (media error) <F>
<3>[24524.520296] ata10.00: status: { DRDY ERR }
<3>[24524.523234] ata10.00: error: { UNC }
<6>[24524.527390] ata10.00: configured for UDMA/133
<6>[24524.530272] ata10: EH complete

Czy macie jakieś pomysły?

Usunięty użytkownik pigers · 15 Czerwiec 2014

moim zdaniem kolejność dysków ma znaczenie - ale mogę się mylić

pracek · 16 Czerwiec 2014

Systemu po wystąpieniu powyższego problemu nie da się normalnie zamknąć (reboot spowodował tylko, że nie jestem w stanie dostać się do NASa po SSH...). Konieczny był twardy reset. Po restarcie sytuacja wygląda identycznie jak przed rozpoczęciem odbudowy.

Czy błąd który wrzuciłem w poprzednim poście świadczy o błędzie któregoś dysku (obstawiam /dev/sdc, na nim zwisa fdisk -l)? Jeżeli tak, jakieś pomysły co z tym zrobić? Odbudowa doszła do ~70% przed zwisem, bad sector?

Pomóżcie proszę, nie wiem co z tym fantem dalej zrobić...

Usunięty użytkownik pigers · 16 Czerwiec 2014

wymień ten dysk na inny (hotswap) i niech leci odbudowa

pracek · 16 Czerwiec 2014

No niespecjalnie, bo właśnie miałem awarię dysku 2 (macierz była na 2,3,4,5 - RAID5), więc bez 3-go nie odbuduję...

Usunięty użytkownik pigers · 16 Czerwiec 2014

to sypią Ci się dyski - sorry :/

Silas Mariusz · 7 Lipiec 2014

Raczej nie kontynuował bym procesu odbudowy, a podłączył dyski pod R-Studio i zamontował wirtualnego RAID'a tylko w celu próby odzyskania danych. Macierz jest martwa. Niestety RAID5 okazuje się nie sprawdzać przy jakości ostatnich dysków twardych.

Szukaj

Pomoc RAID5 inactive po przerwanej odbudowie

pracek

Nowy użytkownik

Usunięty użytkownik pigers

Guest

pracek

Nowy użytkownik

Usunięty użytkownik pigers

Guest

pracek

Nowy użytkownik

Usunięty użytkownik pigers

Guest

pracek

Nowy użytkownik

Usunięty użytkownik pigers

Guest

Silas Mariusz

rm -rf /

Mogą Cię zainteresować