infomedia

Entry Technician
Q Associate
28 Kwiecień 2009
71
6
80
Odznaki
21
QNAP
TS-x73A
Ethernet
802.11ax (Wi-Fi 6)
Poz.
1
 
Hej,
wczoraj w kilku różnych lokalizacjach miałem taką sytuację, że HDP obciążało pamięć praktycznie w 100% i albo system sam ubił proces, albo trzeba było zamknąć aplikację ręcznie.
Mieliście też takie przypadki?
 
Krótko: tak — HDP (Hyper Data Protector, dawniej Boxafe) potrafi „wysysać” pamięć i CPU, szczególnie gdy działa deduplikacja lub przetwarza duże zbiory danych. Na QuTS hero dodatkowo współgra to z potrzebami ZFS/ARC i przy niedostatku RAM system może automatycznie wyłączać aplikacje lub zabijać procesy. Poniżej komplet wyjaśnień i konkretne kroki naprawcze dla QTS i QuTS hero.

Dlaczego tak się dzieje (wyjaśnienie)
1. Wymagania HDP
  • Oficjalnie instalator wymaga min. 4 GB RAM; po instalacji aplikacja powinna mieć dostęp do co najmniej ~2 GB pamięci, by działać stabilnie. Przy <2 GB pojawiają się ostrzeżenia i niestabilność.
  • HDP wykonuje operacje intensywnie korzystające z CPU i pamięci (indeksowanie, deduplikacja, przetwarzanie metadanych).

2. QuTS hero + ZFS (specyfika)
  • QuTS hero używa ARC (Adaptive Replacement Cache). ARC „zjada” RAM, żeby przyspieszać odczyty. Gdy ARC zajmie dużo pamięci, dla aplikacji zostaje za mało pamięci i system może zatrzymywać/usypiać aplikacje albo wystąpi OOM (kernel zabija procesy).
  • Operacje na metadanych ZFS (scrub, resilver, dedupe) są pamięcio- i I/O‑intensywne; przy niewystarczającym RAM procesy mogą zawieszać się w stanie D lub być zabijane.

3. QTS (EXT4) — mimo braku ZFS
- Nawet na QTS HDP potrafi mocno obciążać CPU/RAM. Deduplikacja wykonywana przez aplikację lub jej komponenty użytkowe może powodować wysoki load niezależnie od systemu plików.

Co zrobić — kroki naprawcze (konkretne, do wykonania od razu)
Uwaga krytyczna: przed zmianami związanymi z deduplikacją, pulami czy formatowaniem wykonaj kopię zapasową danych. Zmiany na poziomie woluminów/puli mogą być nieodwracalne.

A. Szybkie działania „gaśnicze”
1. Jeśli NAS jest niestabilny — zatrzymaj HDP natychmiast:
- W App Center (Centrum aplikacji) zatrzymaj aplikację HDP lub poprzez Panel sterowania > Zarządzanie aplikacjami (Manage Apps).
2. Uruchom Qboost (jeśli dostępny) i kliknij „Optymalizuj” żeby odzyskać pamięć buforową.
3. Sprawdź Monitor zasobów -> Wykorzystanie pamięci i CPU, zidentyfikuj procesy najbardziej obciążające system. (Dla QuTS hero obserwuj też informacje o ARC.)

B. Długofalowe rozwiązania i diagnostyka
1. Zwiększ RAM
- Najskuteczniejsze: dołóż pamięć RAM zgodnie ze specyfikacją modelu. Dla QuTS hero im więcej RAM tym lepiej (ZFS jest zaprojektowany pod duże ilości pamięci). To zmniejszy ryzyko OOM i automatycznych wyłączeń aplikacji.

2. Dostosuj ustawienie ARC (wyłącznie dla QuTS hero)
- W Menedżerze pamięci/pamięci masowej (Storage & Snapshots / Memory Manager) zmniejsz procent pamięci przydzielonej dla ARC, aby zwolnić więcej RAM dla aplikacji. Zmiana zmniejszy wydajność odczytu, ale poprawi stabilność aplikacji. Po zmianie Zastosuj i zrestartuj HDP.

3. Zoptymalizuj/wyłącz deduplikację
  • Jeśli HDP/Twoja konfiguracja uruchamia deduplikację na dużych pulach, rozważ tymczasowe wyłączenie dedupe dla nowych zadań lub ograniczenie zakresu deduplikacji (mniej zasobochłonnych zbiorów).
  • Uwaga: usuwanie deduplikacji z istniejących danych może być skomplikowane i ryzykowne — sprawdź dokumentację HDP, wykonaj backup przed modyfikacjami.

4. Ogranicz liczbę jednoczesnych zadań HDP
- W ustawieniach HDP (jeśli dostępne) zmniejsz liczbę równoległych wątków/zadań, harmonogramuj zadania poza godzinami pracy (noc), dziel duże zadania na mniejsze partie.

5. Sprawdź wersję HDP i aktualizacje
- Upewnij się, że masz najnowszą wersję HDP — nowsze wydania często zawierają poprawki pamięci/wycieków oraz optymalizacje deduplikacji.

6. Monitorowanie i logi (diagnostyka)
  • Sprawdź logi systemowe i logi aplikacji HDP w Centrum aplikacji / logach systemowych. Szukaj wpisów OOM, „killed process”, „out of memory”, błędów dedup lub zfs/dedupe.
  • Ogólnie (FAQ SSH) użyj top/htop, free -m, iostat, oraz w QuTS hero zfs list / zpool status, a także narzędzi arcstat/arc_summary jeśli są dostępne — to pomoże określić wskaźniki użycia RAM przez ARC (to ogólna rada diagnostyczna).

7. Przemyśl architekturę i off‑load
- Jeśli HDP ma indeksować duże zbiory, rozważ uruchomienie go na innym urządzeniu o większych zasobach (np. dedykowany VM lub inny NAS) lub zastosowanie zewnętrznego serwera/aplikacji do preprocesingu.

8. Weryfikacja kompatybilności z pamięcią modułów
- Niektóre modele mają ograniczenia lub listy certyfikowanych modułów RAM. Sprawdź specyfikację modelu przed zakupem pamięci.

Specyficzne porady rozdzielone wg systemu
  • QuTS hero (ZFS): priorytet — dołóż RAM lub zmniejsz ARC. Przy intensywnej deduplikacji lub dużych jobach HDP bezwzględnie więcej RAMu pomaga. System może sam wyłączać aplikacje przy niskim wolnym RAM — to opisane w dokumentacji.
  • QTS (EXT4): HDP nadal może obciążać CPU/RAM — stosuj ograniczenia w aplikacji, harmonogramuj zadania i monitoruj procesy; pamięć swap na NAS to ostateczność (ale nie polecane jako długoterminowe rozwiązanie).

Co sprawdzić natychmiast po przywróceniu stabilności
1. Zaloguj się do Monitor zasobów i zapisz wykresy zużycia pamięci i CPU przy uruchomionym HDP.
2. Sprawdź, czy po optymalizacji ARC oraz ograniczeniu zadań HDP obciążenie wraca do normalnego poziomu.
3. Jeśli problem powtarza się nawet przy zwiększonym RAM i optymalizacjach — rozważ odinstalowanie HDP i raport błędu do QNAP wraz z logami i opisem (innym użytkownikom na forum ułatwisz pomoc, wklejając logi i konfigurację).

Ostrzeżenie końcowe
- Operacje na deduplikacji, ZFS i pulach są potencjalnie ryzykowne dla danych. ZAWSZE wykonaj aktualny backup przed zmianami konfiguracyjnymi (wyłączaniem dedupe, modyfikacją puli, rozbudową pamięci w niektórych modelach postępuj zgodnie z instrukcjami producenta).

Podsumowanie (konkretne kroki do wykonania teraz)
1. Zatrzymaj HDP (App Center), włącz Qboost -> Optymalizuj.
2. Sprawdź Monitor zasobów; zanotuj użycie RAM/CPU.
3. Jeśli to QuTS hero: zmniejsz procent ARC w ustawieniach pamięci/puli.
4. Zmniejsz liczbę równoległych zadań/deduplikacji w HDP lub tymczasowo wyłącz dedupe.
5. Jeśli problem się powtarza: doposaż NAS w RAM (najlepsze rozwiązanie), wykonaj backup i zaktualizuj HDP do najnowszej wersji.

To kompletna lista działań i przyczyn — wykonaj je po kolei; najczęściej pomaga zmniejszenie ARC lub dołożenie pamięci.

Źródła na forum:

Ta wiadomość pochodzi od asystenta AI — może zawierać błędy, zweryfikuj przed zastosowaniem. Oceń ją, głosując pod postem: ▲ pomocna lub ▼ nieprzydatna.
Na tym forum nie ma złych ocen — wszyscy wciąż się uczymy i wszyscy jesteśmy adminami, a +1 czy −1 to zawsze tylko 1 punkt. Każde Twoje kolejne pytanie to wspólna pomoc, która zostaje nie tylko na forum, ale i w internecie. Społeczność forum QNAP działa od 2008 roku i po niemal dwóch dekadach nieprzerwanie dostarcza rzetelne treści, z których korzystają kolejni admini — a ostatnio uczy się na nich także AI.
 
Hej,
wczoraj w kilku różnych lokalizacjach miałem taką sytuację, że HDP obciążało pamięć praktycznie w 100% i albo system sam ubił proces, albo trzeba było zamknąć aplikację ręcznie.
Mieliście też takie przypadki?
Wersja Beta ? Systemu?. Tak miałem wczoraj:)
 
Nazwa procesu musicie podac
Gunicorn.
1793021526064.webp
 
Nie wersja beta, ale zarówno QTS 5.2.10 jaki 5.2.11 - zadziało się to na serwerze, który miał tylko uruchomione HDP bez zdefiniowanych zadań jak i na takim który zadania ma. Teraz sprawdziłem jeszcze jeden serwer - HDP niby działa, ale przy próbie uruchomienia jest białe okno.

Ostrzeżenie 2026-10-25 13:41:05 --- --- localhost --- Hardware Status Kernel [Hardware Status] The system is out of memory. Started kill process: 1476 "gunicorn". Disable some applications to free up memory, or expand the system memory.

Ostrzeżenie 2026-10-25 13:41:05 --- --- localhost --- Hardware Status --- [Hardware Status] HyperDataProtector has been automatically disabled by the operating system to free up system memory.
 
Zrobiłem zgłoszenie z jednego serwerka. Czy powinienem zrobić z wszystkich? Jest się czego bać - dziwi mnie że wystąpiło to na różnych maszynach w różnych lokalizacjach tego samego dnia - chociaż o różnych godzinach?
 
No jest jakiś memory leak. Będę dzisiaj się tym zajmował. Czym więcej logów tym lepiej
Połączono posty:

Prosiłbym tylko o dołączenie w miarę możliwości logów debugowania z hdp dostępnych w prawym górnym rogu