Pomoc Backup całego serwera NAS (TS-453 Pro z QTS 4.2.2) oraz migracja na pule z Migawkami

Status
Brak możliwości dodawania odpowiedzi.

mrjurek

Passing Basics
Beginner
2 Czerwiec 2015
23
5
3
Mielec
QNAP
TS-x53
Ethernet
1 GbE
Witam
Administruje od dłuższego czasu Serwerem NAS Qnap. Wcześniej 2 zatokowym, a po migracji na nowszy, 4 zatokowym.

Wersja oprogramowania Firmware: QTS 4.2.2
Model serwera: QNAP TS-453 Pro

Mam mały problem, a nawet dwa.

Jako, że obecnie wykorzystuje 2 x Dyski po 4TB w RAID1 w starszym typie, który nie obsługuje migawek, chciałbym zmigrować na nowszy typ obsługujący migawki (Pool itd.). Z tego co wiem, nie da się tego zrobić w postaci konwersji gdyż wcześniejsze wolumeny były tworzone w poprzednich wersjach Firmware (post: Rozwiązany - TS-451 z QTS 4.2 Migawki i mały problem )
Dodatkowo brakuje mi przestrzeni i chciałbym dołożyć jeden Dysk 4TB i spiąć je w RAID5 (dysponowałbym łącznie 8TB danych przy wykorzystanych 3 z 4 zatok, dzięki czemu miałbym w przyszłości możliwość dołożenia Dysku lub wykorzystać tą zatokę jako awaryjny dysk).
Jestem już świadom, że muszę skonfigurować cały QNAP na 3 x dyskach sformatowanych, założyć pule i obsługę migawek. Niestety nie doczytałem się jak to zrobić najlepiej. Proszę o jakąś instrukcję.

Druga sprawa, to jak wykonać backup najlepiej całego wolumenu z danymi obecnego serwera łącznie z ustawieniami.

Po głowie chodzi mi takie rozwiązanie:
Backup ustawień:
1. Panel Sterowania / Kopia Zapasowa / Odzyskiwanie i zrobić Kopie Zapasową (niestety piszę, że jest to kopia wszystkich ustawień włącznie z kontami użytkowników, nazwą serwera, ustawieniami sieciowymi itp. No właśnie to itp nie wiele mi mówi. A co z udziałami sieciowymi?
2. Na wszelki wypadek wejść na Panel Sterowania / Ustawienia Uprawnień / Użytkownicy / zaznaczyć wszystkich i Eksport użytkowników.
Backup danych (tak naprawdę archiwizacja, a nie backup):
3. Hybrid Backup Sync - Beta (gdyż w QNAP-ie w tym firmware nie ma alternatywy, a chmura nie wchodzi w rachubę) / Zewnętrzna kopia zapasowa (gdyż nie dysponuje innym NAS) i zrobienie harmonogramu kopiowania folderów na Dysk zewnętrzny. Tutaj mały problem gdyż po zaznaczeniu iluś tam folderów/udziałów, nie przyjmuje nowych i muszę podzielić na aż 3 harmonogramy, a każdy z nich ma foldery od np. 1: a-g, 2: h-m, 3: n-z).
Pytanie tylko, czy tak wykonana archiwizacja mi wystarczy? Czy po skonfigurowaniu QNAPa od początku, przywrócenie konfiguracji z backupu (czy przywraca także schemat katalogów na nowym volumenie?) oraz ponownym przekopiowaniu danych na nowy Volumen, będę miał wszystkie dane i ustawienia jak przed migracją?

Moje pytania/prośby:
- jak wykonać pule i volumeny aby obsługiwały migawki
- jak wykonać najlepiej backup całego volumenu z danymi oraz z ustawieniami

Zaznaczam tylko, że dane na obecnym Volumenie są danymi firmowymi i nie mogę sobie pozwolić na utratę ani na przestoje w pracy serwera. Prace planuje wykonać od piątku po południu do niedzieli włącznie aby na poniedziałek mieć gotowy serwer.

Z góry dziękuję i pozdrawiam. Zachęcam wszystkich zainteresowanych o branie czynnego udziału :)
Marcin
 
Jak odzyskam hasło admina i dzięki temu dostęp do ssh będę testował. Fajnie.

PS. Panowie, a jak jest z przywracaniem ustawień z backupu?
Jak już zrobię backup z obecnej konfiguracji dyskowej (RAID1 bez obsługi migawek) na nowo postawiony RAID5 z obsługą migawek na 3 dyskach, to po przywróceniu ustawień nie powinno mi nic nabruździć w ustawieniach dyskowych?

Pozdrawiam
 
Dziękuję bardzo Wszystkim.

(pozostaje mi testowanie po ssh - dzięki za info pigers, grzenio).


PS. lizaków nie dostaniecie bo nie posiadam takiej opcji na forum :)
PS.2 grzenio, może podzieliłbyś się swoimi spostrzeżeniami i radami odnośnie Borga na forum - niekoniecznie w tym wątku.
Witam

A więc tak (odzywam się i opisuje jak mi idzie dla potomnych czytających forum):
1. Odzyskałem hasło do admina wg poradnika (ps. przed procedurą należy zrobić eksport użytkowników gdyż traci ich po odzyskaniu, a po odzyskaniu zaimportować):
Rozwiązany - Konto admin - nie działa stare hasło

2. Na testowym QNAP TS-212 założyłem pojedynczy volumen (nie RAID1) z przykładowymi użytkownikami i udziałami.
- zrobiłem backup ustawień (na wszelki wypadek eksportowałem użytkowników).
- zrobiłem archiwizację ustawień za pomocą komendy (dzięki za wskazówki pigers i grzenio), wcześniej podglądając plik /etc/smb.conf gdzie znajdują się dane:
rsync -avh --numeric-ids --log-file=/share/external/sds1/backup.log --progress /share/HDA_DATA/ /share/external/sds1/Backup_20170127/
- następnie, postawiłem od nowa - na czysto - QNAPa ale z RAID1
- przywróciłem ustawienia z backupu

Moje spostrzeżenia:
- backup przywraca się poprawnie, widać ustawienia jakie były, nie ingeruje w obecne Volumeny (tj. widzi rajd1 i nowo utworzony volumen), widać użytkowników i udziały :)
- DUŻY minus - nie mogę sobie z tym poradzić - w File Station (restartowałem już usługę File Station) nie można rozwinąć swojego volumenu (cały czas obraca kółeczko i nic). Podłączone dyski USB widzi i można się na nie dostać. Poprzez sieć lokalną (sambę, na wszelki wypadek taż wyłączyłem i włączyłem) mogę wejść na serwer, widzi strukturę katalogów ale nie otwiera folderów, zwraca tekst w stylu: System Windows nie może uzyskać dostępu do \\adres\Test03. Oczywiście na katalog dysku USB wchodzi. Prawa są ok, to jakby problem z dostępem do volumenu (może zmieniło się oznaczenie itd, nie jestem omnibusem).

Jak łatwo się domyśleć rsync także nie przechodzi w drugą stronę - przywracanie z archiwum (w załączniku log, zmieniłem rozszerzenie na txt aby przeszedł na forum)

Koledzy, koleżanki doradzie coś.
 

Załączniki

  • backup_przwracanie.txt
    4,4 KB · Wyświetleń: 37
No własnie nie jestem w stanie tego potwierdzić, to technicznie niemożliwe.
Wiem, że rsync najpierw wrzuca dane do Tempa, a następnie na lokalizację docelową, dlatego zawsze podkreśla się aby mieć na wszelki wypadek 2 x więcej miejsca.
Mam prawie 160 GB w RAID1, a zajętych jest może 1GB (z bebechami, które tworzy QNAP). Backup/archiwizacja to ok 300 MB.

Sądzę, że to jakaś zajętość dysku lub zmienił "nazwe" dysku i dlatego zwraca, że nie ma miejsca, lub coś podobnego. Config smb.conf wskazuje na taki udział /share/HDA_DATA/.
Bo jak wyjaśnić to, że nie mogę się na niego dostać?

Zresztą druga linia
rsync: write failed on "/share/HDA_DATA/.qbox/mysql/data/ibdata1": No space left on device (28)

też może o tym świadczyć, że /share/HDA_DATA/ nie jest dostępny.

To moja przestrzeń na testowym QNAP: RAID1 o Volumenie 160GB, składający się z dysku 4TB i 160GB. Dysk na USB - 4TB:
Kod:
[~] # df -h
Filesystem                Size      Used Available Use% Mounted on
/dev/ramdisk             32.9M     17.8M     15.2M  54% /
tmpfs                    32.0M    280.0k     31.7M   1% /tmp
/dev/sda4               370.9M    347.1M     23.8M  94% /mnt/ext
/dev/md9                509.5M    135.9M    373.6M  27% /mnt/HDA_ROOT
/dev/md0                145.2G    330.6M    144.4G   0% /share/MD0_DATA
/dev/sds1                 3.6T    598.7M      3.6T   0% /share/external/sds1
tmpfs                     1.0M         0      1.0M   0% /mnt/rf/nd

Nie wiem jak to odczytać ale czy czasem nie zmieniło się oznaczenie dysku w związku z przejściem na RAID1? Wcześniej było HDA-DATA, a teraz chyba MD0_DATA.
W takim przypadku przywrócenie ustawień z backupu jednak wpływa na volumeny.
Teraz musiałbym jeśli idę dobrym torem, zmienić wszystkie wpisy smb.conf na MD0_DATA.
Dobrze kumam?

PS. ok, na przyszłość będę wiedział jak załączać logi (choć nie będzie to takie czytelne, gdyż log jest długi).
 
Dziękuję grzenio. Właśnie miałem się za to zabierać. Fajny materiał. :)

Ale powyższy problem także chciałbym rozwiązać - doświadczenie na przyszłość.
Nie wiem jak to ugryźć. Służę wszystkim, co jestem w stanie wyklepać w konsoli (a, że dopiero "liżę" konsolę, to, co bardziej trudniejsze, proszę o instrukcję).
Spotkał się ktoś z Was z podobnym przypadkiem?

-- następna edycja --
Sądzę, że moje spostrzeżenia są trafne. Przy przywróceniu backupu z QNAPa bez raida (na pojedynczym dysku) na QNAPa z raidem zmienia się link publiczny z
/share/HDA_DATA/
na
/share/MD0_DATA/.
Tak nas załatwił QNAP - nie przewidzieli, że mogą zachodzić takie konieczności.

Tak więc muszę zamienić wszystkie odwołania. Czy wystarczy, że dokonam tego tylko w pliku /etc/smb.conf?
Czy muszę jeszcze gdzieś indziej w ustawieniach na QNAP?

PS. Jaki jest edytor na QNAP?

Witam
Dziś zrobiłem albo jeszcze nie (to się jeszcze okaże) nową konfigurację serwera wcześniej odblokowując hasło admina i podgrywając plik smb.conf.
Podzielę się moimi spostrzeżeniami jak tylko skończę.

Jako, że dysponowałem dyskami do nowej konfiguracji serwera, posłużyłem się pierwszym dyskiem z RAID1 starej konfiguracji jako backup i archiwizacja danych.
W razie W mam rollback, wkładam dysk do maszyny i mam system, dokładam drugi i odbudowuje macierz.
Jak wspomniałem chciałem go wykorzystać jako archiwizacja danych, w końcu wszystkie dane są na nim. Jak się rozczarowałem gdy podpiąłem go przez USB3. System che mi go formatować, nie widzi żadnej struktury plików (zaznacze, że wcześniej przeprowadziłem podobny test na małej maszynce TS-212 i tam to działało).

Poradźcie mi jak się do niego dobrać i zgrać wszystkie dane. Podpiąłem też pod komp z linuksem, także nie może go podmontować.

Macie jakieś pomysły?
===========================
A teraz posumowanie wątku na forum.
Polecam skonfigurowanie całego QNAPa od początku. Przywrócenie z backupu może czasem nie zaskoczyć, miałem podobny przypadek na testowej instalacji.
Zresztą nie jestem pewny czy wszystko zakończyło by się prawidłowo (zmieniają się przecież linki publiczne do udziałów sieciowych w RAID5).
Trochę screenów nie zaszkodzi jeśli ktoś nie pamięta wszystkich ustawień. Tak właśnie zrobiłem.

1. Przygotowanie do migracji:
- backup kont użytkowników
- backup pliku smb.conf (oczywiście nie na dyski QNAPa :) )
- mile widziana archiwizacja danych z dysków jeśli chcemy z nich jeszcze korzystać (np. skorzystanie z pierwszego dysku RAID1 w końcu dane są na mim zapisane, a w razie "W" mamy rollback jeśli prace się nie powiodą)

2. Stawiamy system od zera i konfigurujemy go wg. ustawień jakie mieliśmy wcześniej, pamiętajmy o kodowaniu (pamiętajmy też o odblokowaniu SSH jeśli mieliśmy wyłączone)

3. Robimy backup pliku smb.conf (/etc/config/smb.conf) nowej instancji serwera (przyda nam się aby np. podglądnąć linki publiczne gdyż zmieniają się z /share/MD0_DATA/ na /share/CACHEDEV1_DATA/)

4. Jeśli system działa, serwer jest skonfigurowany wg. pierwowzoru zajmiemy się użytkownikami, udziałami i certyfikatem VPN jeśli serwer VPN jest użytkowany
- importujemy użytkowników i sprawdzamy czy możemy się zalogować na jakiegoś użytkownika celem weryfikacji (tak export jak i import przechowuje użytkowników oprócz admina wraz z hasłami)

5. Porównujemy pliki smb.conf z starej instancji i nowej. Wszystkie udziały sieciowe wraz z prawami dostępu będziemy mieli zapisane w pierwotnym pliku. Należy teraz podmienić wszystkie wpisy z linkami publicznymi na nowe poprzez np. funkcję zamień w Notepad++. Zweryfikować czy pozostałe dane się zgadzają i jeśli tak, będziemy te dane migrowali do nowej instancji:
- np. pod Windowsem poprzez WinSCP otwieramy smb.conf kasujemy wszystko i wklejamy dane z już przygotowanej konfiguracji (nie kopiujmy plików gdyż istniej ryzyko z kodowaniem). Podkreślam róbmy to przez WinSCP lub podobne narzędzie aby nie mieć niespodzianek z kodowaniem znaków (szczególnie tyczy się to tych, którzy jednak na upartego stosują PL litery w nazwach udziałów).
Restartujemy Sambe przez SSH: /etc/init.d/smb.sh restart
Spodziewałbym się, że wszystko powinno zaskoczyć. Udziały są widoczne, jednak są one wyszarzałe w Foldery współdzielone, a FileStation nie może się do nich dostać.

5.1 . Wchodzimy przez WinSCP i odtwarzamy katalogi (tworzymy główne drzewo katalogów jak w oryginale) w /share/CACHEDEV1_DATA/ zwracając na przydzielenie wszystkich praw do katalogu (rwxrwxrwx tj. 0777). Następnie poprawiamy linki w katalogu /share/ do tych katalogów (powinny być zaznaczone albo wykrzyknikiem lub innym znaczkiem informującym, że coś jest nie tak :) ). Wystarczy otworzyć poprzez "Dodaj/edytuj łącze" w WinSCP lub Alt+F6 oraz zatwierdzić OK.
Po tym zabiegu profilaktycznie restartujemy usługę Samby /etc/init.d/smb.sh restart
Od teraz udziały powinny działać prawidłowo.

6. Pobieramy certyfikat do VPN jeśli używamy Serwer VPN i OpenVPN. Robimy to z poziomu WebGUI QNAPA tj. Aplikacje -> Serwer VPN -> Pobierz certyfikat.
Certyfikat podgrywamy do naszego katalogu configu OpenVPNa w komputerze.

Ciekawostki:
- jeśli się ma na tyle dysków, można wykorzystać jeden dysk z RAIDA1 z QNAPa jako archiwizację danych (po prostu wyciągnąć i podpiąć bez kombinowania i zgrywania) aby po konfiguracji je przywrócić na nowo postawionej maszynie. Jednak jest pewien problem. Dysk różnie jest wykrywany pod Linuxem i musimy się postarać aby go podmontować i to najlepiej w trybie tylko do odczytu. To polecam przetestować wcześniej. Osobiście podpiąłem pod interfejs USB i podłączyłem do mojego TS-453 Pro - niestety nie wykrywa, jedynie chce go formatować. Natomiast dysk jest widoczny w TS-212 i o dziwo można z niego skopiować dane do naszego QNAPa. Te typy tak mają :).

Voila


Temat można zamknąć.
Odpowiedzi udzieliłem:
- jak wykonać pule i volumeny aby obsługiwały migawki
Jak używać funkcji Elastyczne zarządzanie woluminami serwera QNAP? :: Storage ::NAS :: QNAP
- jak wykonać najlepiej backup całego volumenu z danymi oraz z ustawieniami
Odpowiedź w tym poście :)
 
Status
Brak możliwości dodawania odpowiedzi.

Użytkownicy znaleźli tą stronę używając tych słów:

  1. eksport użytkowników
  2. przeniesienie dysków
  3. eksport uprawnień
  4. migracja ustawień