Pomoc Jak działa migawka w maszynach wirtualnych

[badziewiak]

Witam
Zastanawiam się co wybrać: Backup maszyny wirtualnej czy migawkę?
Backup polega na skopiowaniu wszystkich plików niezbędnych do przywrócenia wirtualki. Trwa to chwilę, bo przewala się po kilkadziesiąt GB. Migawka z kolei wykonuje się kilka sekund i zastanawiam się, na ile jest użyteczna? Co zostaje zapamiętane w takiej migawce? Czy jestem w stanie przywrócić z migawki poprzednio działający system, jeśli oprogramowanie na niej całkowicie padło i jeszcze rozłożyło system?
Na dzień dzisiejszy wykonuję pełne kopie, bo jakoś bardziej mnie to przekonuje. Czy migawki są przydatne?

 

[Usunięty użytkownik pigers]

migawka to zdjęcie stanu obecnego maszyny - tak jakby punkt powrotu w czasie gdy coś poszło nie tak, migawki nie są backupem !
migawka ma ograniczony rozmiar informacji jaki może przechować

backup to pełna kopia maszyny (+ustawienia jeśli jest taka opcja) we wskazanym miejscu.

 

[badziewiak]

No ok, ale co te migawki przechowują? Przecież jeśli nadpiszę lub wykasuję jakieś pliki, to skąd weźmie oryginał? To raczej tylko backup, a migawka co może zaoferować?

 

[Usunięty użytkownik pigers]

Migawki maszyny wirtualnej - informacje

 

[Artjablo]

Temat jest bardzo ciekawy. Myślę jednak, że nie możesz postawić znaku równości pomiędzy backupem a snapshotem.
Przy snapshocie nie masz kopii danych a jedynie obraz stanu dysku, konfiguracji itd. Może być pomocny przy robieniu i odtwarzaniu backupu, ale nim nie jest.
Snapshot nie zapewni Ci odtworzenia środowiska bez kopii danych - backupu w przypadku gdy skopiujesz snapshot do innego urządzenia.
Dość dobrze jest to wyjaśnione w artykule: Czy snapshot to backup? - blogersii
Czy stosować backup, czy tylko snapshot, czy oba rozwiązania razem? Ja stawiam na kopie a snapshoty ułatwiają mi życie i skracają czas, ale musisz to sam sobie zdefiniować. Podejmując decyzję powinieneś mieś świadomość, że zależy to od poziomów ryzyka związanego z danymi, które chcesz chronić, kosztami i czasem odtworzenia, poziomu poufności/wrażliwości danych, pojemności posiadanego systemu, ciągłością działania, innymi wymaganiami, które mogą być dla Ciebie ważne.
Dobre praktyki w tym zakresie są związane z posiadaniem wykazu kopii i zasad odtwarzania, zakresu - pełny czy przyrostowy, częstotliwości sporządzania - bezpieczeństwo i krytyczność, miejsca przechowywania - ta sama lokalizacja/inna lokalizacja, zabezpieczenia fizycznego kopii, prowadzenia okresowych testów odtworzenia, szyfrowaniem kopii, czasu ich przechowywania.

 

[Usunięty użytkownik pigers]

migawki nie są backupem !

 

[badziewiak]

Wszystko fajnie, ale jak usunąłem wszystkie migawki, to virtualka się rozsypała. WTF?

EDIT:
Na szczęście zadziałał backup. Z tymi migawkami coś jest ewidentnie zyebane. Nie używać.

 

[Artjablo]

Stara dobra zasada - rób backup :lol:

 

[badziewiak]

Teraz wiem już po co mi w chacie dwie macierze RAID5 po 3 i 4 dyski 3TB. Na początku wydawało mi się, że przesadzam, ale przez skórę czułem, że wykorzystanie ich to tylko kwestia czasu. No i przeczucia mnie nie zawiodły. Teraz mam jeszcze spory zapas miejsca i mogę swobodnie robić backupy. To takie info dla tych, którzy się zastanawiają nad tańszym lub droższym NASem.
Jeszcze jedno pytanko: Wraz z backupem powróciły mi migawki. Jak je wywalić bez rozwalenia wirtualki?

 

[LEVY]

Wszystko fajnie, ale jak usunąłem wszystkie migawki, to virtualka się rozsypała. WTF?

EDIT:
Na szczęście zadziałał backup. Z tymi migawkami coś jest ewidentnie zyebane. Nie używać.

Dziwi mnie takie zachowanie migawek.
Chociaż u mnie migawki działają mało intuicyjnie.
Przede wszystkim migawki robią się automatycznie podczas wykonywania kopii maszyny wirtualnej. Brak możliwości ustawienia retencji migawek. Robią się przy przy każdej kopii (bez względu na ustawienia retencji kopii).
Spokojnie mogę kasować dowolne migawki oprócz ostatniej. Wszystko działa cały czas bez żadnych problemów. Ale podczas kasowania dowolnej migawki tworzony jest nowy obraz wirtualki, oraz kasowany jest obraz pierwotny.
Prowadzi to do dziwnej sytuacji. Załóżmy, że mam obraz wirtualki i siedem kolejnych migawek. Kasuje np. trzecią. OK, jest skasowana. Utworzony jest nowy plik z obrazem maszyny + nowa świeża migawka (nie wiem po co). Ale zostaje mi 6 starych i bezużytecznych migawek, bo odnoszą się one do pierwotnego pliku z obrazem wirtualki.

 

[badziewiak]

Wqrwiłem się i zrobiłem tak:
Zamiast wywalać migawki dodałem nowe dyski. Odpaliłem na virtualce clonezilla i sklonowałem dyski. Sklonowane dyski skopiowałem do nowego folderu i utworzyłem nową virtualkę. Natychmiast wywaliłem automatycznie utworzoną migawkę, skopiowałem dyski do backupu i nie dotykam migawek ani mechanizmu backupu z gui. Backup tylko z poziomu file station. Kiedyś może wyślę zgłoszenie do supportu.

 

[Usunięty użytkownik pigers]

hyhy - widzę że moja starożytna metoda rządzi - stop maszyn - kopia plików maszyn na bok - start maszyn

 

[badziewiak]

Normalnie jak w czasach maszyn parowych. Znajdź różnice...
QNAP Virtualization Station versus http://www.historia.beskidia.pl/userfiles/wehikul/2361.jpg
Ale miałem burdel z tą moją virtualką. Obrabiam na niej moje oprogramowanie do autocada w C#. Po kilku dniach zauważyłem, że kilka z 88 projektów nie ładuje się. Patrzę co jest grane i co? Pliki projektu miały jakieś dziwne binarne zawartości zamiast tekstowych. Dobrze że mam kilka miejsc na backupy, bo przywróciłem zawartość i przeżyłem. Nie ukrywam jednak, że ciśnienie mi skoczyło na tych żółtków. Chyba są ostro przemęczeni, że takie gówno mi zaserwowali. Qnap to bardzo fajny sprzęt, ale oprogramowanie spierd0lili jak się dało.
Reasumując: Nie używać żadnych snapshotów ani auto-backupów. Jak już, to tylko kopiować pliki przez file station.
No to się poirytowałem dość ostro. Wywaliłem całą zawartość folderu z virtualki i skopiowałem całą zawartość z backupu. Virtualka nie zadziała - stwierdziła uszkodzony system plików. Zupełnie jakby snapshoty działały w tle, bo obok plików z wirtualnymi dyskami tworzyły się wielogigabajtowe pliki Dane.img_qtmp_JtBue9.
Od dziś robię kopię wyłącznie za pomocą clonezilla.

 

[_Floyd]

Tak troche offTop:

Reasumując: Nie używać żadnych snapshotów ani auto-backupów.

Jak to jedna z podstawowych funkcji która została wprowadzona przez Q.

 

[badziewiak]

Tylko że to nie działa jak należy. Nie mam już siły zgłaszać im błędów. Po prostu chcę, żeby to działało i już. Jak się płaci za sprzęt 10K+ to chyba można oczekiwać sprawnego softu? Tymczasem rzeczywistość jest taka a nie inna. Skoro tak podstawowa rzecz jak backup nie działa to tylko siąść i płakać.
Jeśli wykonam backup za pomocą clonezilla, to mam praktycznie 100% gwarancję, że mogę wykasować wirtualne dyski, utworzyć nowe i zapisać je za pomocą clonezilli. Do tego kompresja wielowątkowa działa całkiem przyzwoicie, mniej miejsca to zajmuje a czas wykonywania kopii w granicach zdrowego rozsądku.
Clonezilla używam z powodzeniem na sprzęcie fizycznym.

 

[Silas Mariusz]

Normalnie jak w czasach maszyn parowych. Znajdź różnice...
QNAP Virtualization Station versus http://www.historia.beskidia.pl/userfiles/wehikul/2361.jpg
--- Połączono posty, 12 Listopad 2017, Data oryginalnego postu: 10 Listopad 2017 --- Ale miałem burdel z tą moją virtualką. Obrabiam na niej moje oprogramowanie do autocada w C#. Po kilku dniach zauważyłem, że kilka z 88 projektów nie ładuje się. Patrzę co jest grane i co? Pliki projektu miały jakieś dziwne binarne zawartości zamiast tekstowych. Dobrze że mam kilka miejsc na backupy, bo przywróciłem zawartość i przeżyłem. Nie ukrywam jednak, że ciśnienie mi skoczyło na tych żółtków. Chyba są ostro przemęczeni, że takie gówno mi zaserwowali. Qnap to bardzo fajny sprzęt, ale oprogramowanie spierd0lili jak się dało.
Reasumując: Nie używać żadnych snapshotów ani auto-backupów. Jak już, to tylko kopiować pliki przez file station.
--- Połączono posty, 4 Luty 2018 --- No to się poirytowałem dość ostro. Wywaliłem całą zawartość folderu z virtualki i skopiowałem całą zawartość z backupu. Virtualka nie zadziała - stwierdziła uszkodzony system plików. Zupełnie jakby snapshoty działały w tle, bo obok plików z wirtualnymi dyskami tworzyły się wielogigabajtowe pliki Dane.img_qtmp_JtBue9.
Od dziś robię kopię wyłącznie za pomocą clonezilla

No i strzeliles sobie w kolano. Nie miej pretensji do QNAP ale do siebie za brak zrozumienia róznic pomiedzy Backup a Snapshot.

Chyba są ostro przemęczeni, że takie gówno mi zaserwowali. Qnap to bardzo fajny sprzęt, ale oprogramowanie spierd0lili jak się dało.

Albo Ty nadgorliwy.
Niech zgadne...
Miałeś snapshoty maszyny wirtualnej. Snapshot to zapisany punkt maszyny wirtualnej, w którym znajduje się stan fizyczny pamięci RAM oraz obrazu dysków twardych. Po wykonanym snapshocie, dalsza praca maszyny wirtualnej zamiast opierać się o obraz dysku w VM, zaczyna tworzyć nieskończenie wzrastający nowy przyrostowy plik, który jest różnicą zmian zaszłych w tym czasie w dysku VM. Jeśli robisz kolejny snapshot, to robisz kolejny dump RAM'u i dzielisz na nowo plik ze zmianami HDD tworząc nowy od momentu ostatniego snapa.

Twój problem polega na tym, że zaingerowałeś w stan maszyny wirtualnej.

No to się poirytowałem dość ostro. Wywaliłem całą zawartość folderu z virtualki i skopiowałem całą zawartość z backupu.

Niech zgadne. Manualnie przywróciłeś>podmieniłeś obraz dysku z backupu maszyny wirtualnej?
1) Jaki to miało sens? To juz zamiast przywracac lepiej utworzyć nową wirtualke i podłączyć obraz tego backupu
2) Snapshoty są zawsze tymczasowe. Mają służyć wyłącznie dla celów developerskich. Np. próba update'u systemu itp. tak aby można było łatwo wrócić do bieżącego stanu maszyny przed wykonanymi operacjami. W przypadku powodzenia tych operacji, dokonuje się konsolidacji snapshotów z VM.
3) Jeśli przywróciłeś obraz dysku do konfiguracji VM, która miała utworzone punkty snapshot to HELLO. Jakim cudem różnice utworzone przez snapy mają być spójne z zawartościa dysku?

No to się poirytowałem dość ostro. Wywaliłem całą zawartość folderu z virtualki i skopiowałem całą zawartość z backupu. Virtualka nie zadziała - stwierdziła uszkodzony system plików. Zupełnie jakby snapshoty działały w tle, bo obok plików z wirtualnymi dyskami tworzyły się wielogigabajtowe pliki Dane.img_qtmp_JtBue9.
Od dziś robię kopię wyłącznie za pomocą clonezilla.

Backup maszyny wirtualnej nie jest taki łatwy jakby się wydawało. Chcesz robić backup Clonzilla. Okay, bedzie skuteczny. Ale czy backup VM dotychczas robiles na wyłączonej maszynie, która zrobila sync na dyskach? Czemu nie zweryfikowałeś procesu odtworzeniowego VM - czyli nie utworzyles z backupu nowej maszyny w celu sprawdzenia poprawności wykonywanej kopii.

I nie myśl sobie, że to QNAP'a wina. Absolutnie...
Wiesz jak VMware robi backup maszyny Linux/Ubuntu/CentOS na ESXi'ie?
1) Do maszyny z zainstalowanymi vmware-tools'ami wysyla info "Nadchodzi backup" i bazy danych np. MySQL flushują wszystko z cache'u i zapisują na dyskach
Kiedy wszystkie dane zostały poprawnie zsynchronizowane....
2) VMware robi Snapshot
3) Maszyna w dalszym ciągu pracuje, a backup robi się z tzw. zakończonego punktu pracy maszyny wirtualnej przed momentem snapshotu
Kiedy backup jest wykonany...
4) VMware konsoliduje zaszłe zmiany z migawki do stanu fizycznego tej maszyny i odrzuca do śmietnika snapshot

Clonezilla?
Proszę Cię... tym to najwyżej sobie możesz zrobić template backupu. Ani to komfortowe, ani praktyczne.

 

[LEVY]

I nie myśl sobie, że to QNAP'a wina. Absolutnie...
Wiesz jak VMware robi backup maszyny Linux/Ubuntu/CentOS na ESXi'ie?
1) Do maszyny z zainstalowanymi vmware-tools'ami wysyla info "Nadchodzi backup" i bazy danych np. MySQL flushują wszystko z cache'u i zapisują na dyskach
Kiedy wszystkie dane zostały poprawnie zsynchronizowane....
2) VMware robi Snapshot
3) Maszyna w dalszym ciągu pracuje, a backup robi się z tzw. zakończonego punktu pracy maszyny wirtualnej przed momentem snapshotu
Kiedy backup jest wykonany...
4) VMware konsoliduje zaszłe zmiany z migawki do stanu fizycznego tej maszyny i odrzuca do śmietnika snapshot

W/g mnie backupy i migawki z VM w Qnapie to najbardziej pokręcona sprawa z jaką się spotkałem. Moje spostrzeżenia:
W systemie nie ma kompletnie żadnego zarządzania i planowania migawek. Migawki są robione tylko i wyłącznie przed zaplanowanym backupem, ew. można ręcznie wymusić zrobienie migawki w danym momencie. Co dziwniejsze po każdym wejściu przez File Station do katalogu/folderu z maszyną wirtualną widać, że ostatnia migawka ma datę i czas bieżący, pomimo że w tym czasie nikt nie wykonywał ani nie planował migawki (być może jest to jakiś automatyczny zrzut RAM'u a nie migawka).
Nie ma możliwości ograniczenia ilości migawek, czy ich retencji, robią się non stop. Przy zaplanowanym backupie "co noc", zostajemy obdarzeni kolejną migawką (nieplanowaną) oraz planowanym backupem, który właściwie polega na kopiowaniu starego obrazu maszyny wirtualnej oraz wszystkich migawek.
Nie ma możliwości, albo ja jej nie widzę (support Qnapa też, od czerwca 2016 roku), żeby zrobić automatycznie w ramach backupu nowy obraz maszyny wirtualnej.
Co gorsze, zatrzymując ręcznie VM i robiąc kopie, owszem dostaję nowy obraz, ale stare migawki w folderze zostają. Są one do niczego nie potrzebne, bo już nie ma na dysku odpowiedniego dla nich obrazu maszyny wirtualnej. Praktycznie rzecz biorąc mam ustawiony automatyczny backup "co noc", który poza backupem generuje migawki, po tygodniu ręcznie robię kopię maszyny wirtualnej i ręcznie muszę kasować stare migawki, jak nie to po miesiącu mam plik z obrazem VM sprzed tygodnia plus 7 migawek z ostatnich nocy, oraz 21 bezużytecznych migawek sprzed ostatniego obrazu systemu.
Jak dla mnie Backup powinien wiązać się z zatrzymaniem maszyny i wygenerowaniem nowego obrazu systemu i wykonaniem jego kopii, a nie z zrobieniem migawki i przekopiowaniem całości do innego folderu. Tak to działało w VM2. W obecnej sytuacji mam VM z linuksem (rozmiar pliku ok 27GB), a folder z tygodniowymi backupami i (niechcianymi) migawkami zajmuje już ok 310GB, przy ręcznym usuwaniu niepotrzebnych migawek sprzed dwóch-trzech tygodni.

Powtórzę się ze swoim pytaniem do opieszałego supportu QNAP

"Problem jest taki, że folder z VM, szybko się rozrasta. Również bezsensowne wydają się ustawienia zadań tworzenia kopii zapasowych. Zakładając np. retencje na 7 kopii zapasowych, owszem mam tylko 7 folderów z kopiami, ale w tych folderach mam zarówno stary obraz maszyny, ostatnie 7 migawek (to jest OK), ale po co są tam WSZYSTKIE poprzednie migawki. W związku z tym zamiast 7 kopii po ok 25 GB , po 3 dniach mam 7 kopii po ~40GB, po 7 dniach każdy folder z kopią to już ponad ~65GB, po 10 dniach foldery mają po 100GB.

W dalszym ciągu nigdzie nie znalazłem ustawień, żeby ograniczyć retencję migawek. Ew. jak ustawić zadanie kopii zapasowej, żeby tworzyła pełny obraz maszyny z danego dnia, a nie stary obraz + migawki?"

Być może coś przegapiłem, czegoś nie wiem. Może jakaś dobra dusza naprowadzi mnie nie na prawidłowe ustawienia harmonogramu kopii zapasowych, żeby działo to z moimi zamierzeniami. Czyli: 1x w tyg. np. co noc w niedziele pełny backup VM (mam na myśli nowy obraz VM) i 6 nocnych migawek z poszczególnych dni tygodnia. Bez ciągania za sobą niepotrzebnych migawek np sprzed miesiąca.

 

[Silas Mariusz]

Co dziwniejsze po każdym wejściu przez File Station do katalogu/folderu z maszyną wirtualną widać, że ostatnia migawka ma datę i czas bieżący, pomimo że w tym czasie nikt nie wykonywał ani nie planował migawki (być może jest to jakiś automatyczny zrzut RAM'u a nie migawka).

Musicie zrozumieć, że migawka to proces zatrzymania dysku twardego i pamieci RAM w ich obecnym stanie.
Każda kolejna operacja na maszynie będzie powodowała, że migawka wzrasta. Ponieważ jest kopią przyrostową poprzedniego stanu.
Czyli reasumując w moment wykonania migawki robimy freeze/zatrzymanie tego co sie dzieje na maszynie wirtualnej i budujemy przyrostowo każdą kolejną zmiane. I będziemy budować, aż nie skończy nam się miejsce na dysku lub nie usuniemy wszystkich migawek.

"Problem jest taki, że folder z VM, szybko się rozrasta. Również bezsensowne wydają się ustawienia zadań tworzenia kopii zapasowych. Zakładając np. retencje na 7 kopii zapasowych, owszem mam tylko 7 folderów z kopiami, ale w tych folderach mam zarówno stary obraz maszyny, ostatnie 7 migawek (to jest OK), ale po co są tam WSZYSTKIE poprzednie migawki. W związku z tym zamiast 7 kopii po ok 25 GB , po 3 dniach mam 7 kopii po ~40GB, po 7 dniach każdy folder z kopią to już ponad ~65GB, po 10 dniach foldery mają po 100GB.

W dalszym ciągu nigdzie nie znalazłem ustawień, żeby ograniczyć retencję migawek. Ew. jak ustawić zadanie kopii zapasowej, żeby tworzyła pełny obraz maszyny z danego dnia, a nie stary obraz + migawki?"

@grzenio jest oficjalnym supportem QNAP Nie chciałbym podważać jego odpowiedzi.
Ale powiem Ci to po mojemu i z praktyki niestosowanej w QNAP, ale we wszystkich Hypervisorach.

(I tu wrócę do tego co wczesniej napisałem tylko innymi słowami)
Jeśli choć raz utworzyłeś migawke, to zatrzymałeś aktualny stan maszyny wirtualnej. Migawka to przyrost zmian.
Zatem jeśli robisz jej kopie zapasową, to robisz kopie z zapasem zmian które miały miejsce i są one osobno. Nie jest to skonsolidowana kopia maszyny z czasem ostatniej migawki.

2) Snapshoty są zawsze tymczasowe. Mają służyć wyłącznie dla celów developerskich. Np. próba update'u systemu itp. tak aby można było łatwo wrócić do bieżącego stanu maszyny przed wykonanymi operacjami. W przypadku powodzenia tych operacji, dokonuje się konsolidacji snapshotów z VM.

 

[badziewiak]

@Silas Mariusz z całym szacunkiem do Ciebie, Twego profesjonalizmu i zaangażowania w pomoc innym, ale to nie jest tak jak myślisz. Używałem wbudowanego mechanizmu backupu w virtualization station i to nie działało jak trzeba. Niczego nie usuwałem. Zacząłem kombinować dopiero wtedy, gdy przywrócenie virtualki z backupu po raz n-ty się nie powiodło. Kopiowałem cały katalog z dyskami i snapshotami i to także nie działało. Stwierdziłem wówczas, że najbardziej niezawodną formą backupu jest odpalenie clonezilla w samej virtualce i wykonanie kopii przez sambę.

 

[Silas Mariusz]

Tak btw... zamiast Clonezilli skorzystaj z Veeam darmowego backupu.
Veeam Endpoint Backup Free

Ja przeanalizuje Twój temat jednak będę Cie prosil o zreplikowanie na teamviewerze u mnie zadan ktore wykonales.

Ale to jeszcze z czasem.