Pomoc Problem z GPU po aktualizacji do QTS 5.2.9.3499 (TS-673A)

[Pecus]

Mam TS-673A a zainstalowaną kartą NVIDIA P2000 (niby słaba ale daje radę).

Używam jej do wspomagania transkodowania Video oraz uczenia maszynowego w Immich. Do wersji QTS 5.2.9.3492 wszystko działało idealnie (oczywiście troszkę napracowałem się by dobrze skonfigurować kontenery Immicha).
Wczoraj zrobiłem aktualizację do QTS 5.2.9.3499 i ... dupa. Kontenery (2 z 4) Immicha nie startują wykazując problem z GPU.
Cofnąłem więc system do QTS 5.2.9.3492 i wszystko wróciło do normy.
No prawie do normy, bo w panelu sterowania w "Sprzęt" zakładce "Zasoby Sprzętowe" przy informacjach o karcie wszystkie wartości są ustawione na "0".
Immich jednak prawidłowo transkoduje pliki Video przy pomocy GPU - uczenia maszynowego jeszcze nie sprawdzałem, ale bez karty nie uruchomiłby się odpowiedni kontener.
Aaaa... przy QTS 5.2.9.3499 w tym samym miejscu w Panelu sterowania karta jest pokazywana, ale w miejscu wszystkich jej parametrów są po prostu "-" ... nawet nie "0"

Co robić?, Jak żyć?

 

[SiewcaRyżu]

klasyczyny problem po upgradzie QuTaSa , a masz nowe drivery do GPU ? włączyły się ?

@pecet - Ty jesteś spec od tego, pomóż koledze

 

[pecet]

wgraj ręcznie kernel a potem sterowniki, pobrane najlepiej ze strony Qnap NVdrv -> link Kernel -> link
lub po ssh zgodnie z instrukcją Pomoc - Qnap 473a + Quadro P1000 - brak transkodowania sprzętowego

 

[Pecus]

To zanim zacznę dłubać doprecyzuję.
Razem z update systemu wgrały się najnowsze sterowniki NVkernelDriver - ale w AppCenter były wyszarzone i nie działały. Co ciekawe po downgrade, poszły tesz w dół sterowniki kernela - działa ale dalej są wyszarzone w AppCenter.

@pecet ... czy aby na pewno chodzi o sterownik AdvancedNetDriver do systemu hero (tak myślę), do którego prowadzi link?

 

[pecet]

sorki, już poprawiłem linki i tekst myślę, że jest już czytelnie.

Lecz najpierw ponownie zaktualizuj Qnapa do QTS 5.2.9.3499.

 

[Pecus]

Nie masz co przepraszać , ja nie dodałem na końcu , a miało być.
Kurde, powiem Wam tak. Nie bardzo chcę grzebać teraz jak mi działa , bo zazwyczaj takie grzebanie kończy się tym, że przestaje działać definitywnie. Zrobię jeszcze raz update i zobaczę te sterowniki (choć wygląda na to że były, ale może się nie uruchamiały.....)

Jeszcze raz sprawdziłem, przed update mam tę samą wersję sterowników Nvidia i odpowiadającą systemowi wersję sterowników kernela. Są wyszarzone, ale wszystko działa.
Po update zmieniał się tylko sterownik kernela, więc wersje były dokładnie takie jak podałeś w linkach i nie działało.

Tak sobie myślę, że ponowna instalacja tych sterowników może nic nie dać, ale sprawdzę.

 

[DVader]

Od dluzszego juz czasu mam to samo - po kazdej aktualizacji QuTS Hero, musze recznie instalowac sterowniki NVidia. Potem tylko jeszcze jeden restart i wszystko smiga jak trzeba

 

[Pecus]

Jako, że nie chciałbym łatać tego po każdym update, to zgłosiłem problem do wsparcia Qnapa.
Będą się łączyć i może znajdą rozwiązanie bardziej systemowe.

Dla zainteresowanych czy warto (chodzi mi o kartę Nvidia Quadro P2000 z 5GB RAM na tym konkretnym modelu Qnapa).
W stosunku do działania na samym procesorze w przypadku transkodowania Video mam około 4ro krotne przyspieszenie. A jeśli chodzi o uczenie maszynowe w Immich przyspieszenie jest około 7mio krotne!
A do tego kultura pracy zdecydowanie lepsza. Przy samym procku jego chłodzenie było wyraźnie słyszalne w czasie pracy, a na GPU - mimo, że też się trochę rozgrzewa - nie słychać nic .

 

[SiewcaRyżu]

to podziel sie z ludzikami jaki masz kod w docker-compose żeby odpalic takie turbo :0

 

[Pecus]

To chyba nie jest dobre miejsce ale może @SiewcaRyżu przeniesie w lepsze
Wrzucam tu moją zawartość folderu z którego odpala docker compose, czyli plik env i ymle
W env są zdefiniowane moje dwa foldery:
Biblioteka immich: /share/ImmichData/library
Baza danych Immich: /share/ImmichData/postgres
a w docker-compose.yml jeszcze dodatkowo moja biblioteka zewnętrzna (bo ja w zasadzie tylko tak używam Immicha): /share/Fotografie

Całą resztę można zostawić.

To w zasadzie dość wiernie odwzorowana konfiguracja opisana w dokumentacji Immicha.

A i jak już macie Immicha bez sprzętowej akceleracji, to koniecznie trzeba pull zrobić (no wiem, że oczywiste) bo kontener machine_learning ciągnie inny obraz - dedykowany dla Nvidii.

I jeszcze jedno - może komuś się przyda. Długo wybierałem sensowny model (kompromis między szybkością, jakościa, ą zużyciem zasobów) dla Inteligentnego wyszukiwania i skończyłem na razie na "ViT-SO400M-16-SigLIP2-256__webli" , bo ma język polski (Wpisanie "kieliszek czerwonego wina" na prawdę działa i znajduje fotografie na których taki kieliszek jest!!!), ma przyzwoitą jakość/dokładność i nieźle działa na moim NASie. 100tys. fotografii przemielił w tydzień na procku, a potem jak włożyłem kartę P2000 zmieścił się w około dobę (stąd szacuję przyspieszenie na 7 razy ).

 

[Pecus]

Support zaproponował ponowną instalację sterowników i zrobiłem tak:

Zrobiłem update do QTS 5.2.9.3499.
Po restarcie Kontenery nie widziały GPU, oba sterowniki w App Center wyszarzone, ale w najnowszych wersjach (z resztą po restarcie mignął mi komunikat o aktualizacji NVKernelDriver do 5.2.9.3499).
Zainstalowałem NVKernelDriver (w tej samej co zainstalowana wersji - bo innej się nawet nie da) ręcznnie i ... przestał być wyszarzony. Po restarcie kontenery korzystające z GPU wstały i Immich działa. W zakładce "Zasoby Sprzętowe" przy informacjach o karcie wszystkie wartości są ustawione na "0". NVIDIA GPU Driver dalej wyszarzony.
Zainstalowałem więc ręcznie NVIDIA_GPU_DRV_6.2.2.1106 (czyli tę samą wersję która już teoretycznie była, ale wyszarzona). Po instalacji w zakładce "Zasoby Sprzętowe" przy informacjach o karcie wszystkie wartości zniknęły.
Zrobiłęm restart serwera - kontenery wstały, w App Center oba sterowniki nie są już wyszarzone, W zakładce "Zasoby Sprzętowe" przy informacjach o karcie wszystkie wartości puste, ale nie był też wybrany tryb pracy, po wybraniu "Container Station" (czyli tak jak miałem wcześniej) i zapisaniu, parametry karty się pojawiły i wszystko wróciło do normy.

Czyli jak u @DVader

No niby problem rozwiązany, ale przez ponowną instalację już zainstalowanych sterowników. Uważam, że nie powinno tak się dziać. Oczywiście P2000 nie jest na liście kompatydebilności, choć to ta sama architektura co P1000 (którą mam gdzieś na półce). Gdybym był klientem awanturującym się, to włożyłbym P1000 i powtórzył wszystko. Jestem prawie pewny, że byłoby tak samo i można by czepiać się supportu, że jest na liście, a nie działa!
No ale to by wymagało wyłączenia NASa jego rozebrania i złożenia ponownie (2 razy, bo nie pozostałbym przy P1000) na co nie mogę sobie teraz pozwolić i nie chce mi się.