Pomoc qnap TS-h886 + RTX 5060 low profile 8GB

Wyświetl chronologicznie Sortuj według ilości głosów
Skoro na 1050ti chciałeś odpalać llm to jak chcesz w piwnicy mam gdzieś S3 Trio64
A tak na poważnie jak chcesz doprowadzić zasilanie?

Dla potrzeb laboratoryjnych:
- zasilacz PC/QNAP zasila sam serwer
- drugi zasilacz zasila samą kartę graficzna
- zasilacze te koniecznie muszą być spięte do tej samej listwy (opcjonalnie podłączyć masy zasilaczy ze sobą)
- kolejność włączania: włączasz zasilacz od samej karty graficznej robiąc chwilowy styk na power sw i masa (gnd) - tzw feature po przejściu z zasilaczy AT na ATX
- pozniej serwer

Uwaga! W przypadku cache ssd, qtier, baz danych SQL, awaria lub rozłączenie taj partyzantki grozi utratą danych a w najgorszym wypadku nawet awarię urządzenia.

Śluzyl mi ten setup rok czasu do tego stopnia że odpalałem nawet Need for Speed Rivals.
 
Głosuj w górę 0 Zgłoszenie negatywne
ypl napisał:
Witam, mam ts-h886, czy zadziała w nim RTX 5060?
https://www.x-kom.pl/p/1332840-kart...-rtx-5060-oc-low-profile-8gb-gddr7-dlss4.html
Mam obecnie geforce 1050ti z 4GB VRAM, ale nie działają mi lokalne LLMy. Czy komuś udało się uruchomić lokalny LLM? Na liście HCL nie ma tej karty, najnowsze to są RTX 3050
Kliknij, aby rozwinąć...

Mam dwie karty w nasie Nvidia T400 (2GB) z modelem gemma-3-1b-it-Q4_K_M oraz Nvidia T600 (4GB) gemma-3-1b-it-f16 to są małe modele do serwisu nad którym pracuję mogę podpiąć jeszcze PC z RTX 4070. Wykorzystuje własny loadbalancer który wspiera zewnętrznego providera na razie zaimplementowany OpenAI czeka Grok, Google, Antropic ale to w późniejszym etapie projektu loadbalancer rozdziela requesty według ilości tokenów duże idą do OpenAi ale jest limitem małe do lokalnych modeli.

1769746877953.png


stress testów jeszcze nie robiłem ale są dla mnie bardzo ważne jak coś będę miał może podrzucę.

[EDITED]
Dodam tylko że tu nie chodzi czy Twój sprzęt jest na jakiejś liście ale czy na liście twojego sprzętu są pewne technologie to po pierwsze, nie napisałeś nic co by mogło przybić do realnego problemu z uruchomieniem ai na qnapie
SYCLIntel oraz Nvidia GPU
CUDANvidia GPU
HIPAMD GPU
ZenDNNAMD CPU
VulkanGPU
AVX, AVX2, AVX512 and AMX support for x86 architecturesgeneralnie CPU
OpenCL<- praktycznie każde GPU z OpenGL
 
Głosuj w górę 0 Zgłoszenie negatywne
1769779932974.png

1769779974974.png

1769780182246.png

1769780363754.png


Widzę, że troszkę śmieszkujemy, ja też mam S3 Trio64, jak widać na załączonych screenach do większych zadań mam RTXa 5090 w stacji roboczej, i wiem, że do dużych modeli potrzeba nawet lepszego sprzętu, ale na potrzeby qnapa i tej nowej wyszukiwarki RAG nie potrzeba aż takiego woła roboczego. Reasumując ładuje mi się do pamięci gpu jedynie jeden model Gemma3 1B, jest jeszcze Gemma3 4B który waży 3.3 GB ale z jakiegoś powodu pomimo że 1050ti ma 4GB VRAM to się nie załadować. Czy jest jakaś karta z serii RTX, która wejdzie do tego QNAPA i nie wymaga dodatkowego zasilania? Czy da się jakoś zrobić aby GPU w qnapie korzystało z tzw. shared memory tak jak jest to na windows? Mam w tym qnapie 64gb ramu więc gdyby karta mogła współdzielić tę pamięć to bym każdy model się załadował.
Połączono posty:

SiewcaRyżu napisał:
Pokaż załącznik 48836

Pokaż załącznik 48837

mówisz ? :D
Połączono posty:

to będąć wrednom małpom : https://www.gigabyte.com/Graphics-Card/GV-N5060OC-8GL
Pokaż załącznik 48838
Kliknij, aby rozwinąć...
mój błąd nie przejrzałem specyfikacji
Połączono posty:

0.1+0.2!==0.3 napisał:
Mam dwie karty w nasie Nvidia T400 (2GB) z modelem gemma-3-1b-it-Q4_K_M oraz Nvidia T600 (4GB) gemma-3-1b-it-f16 to są małe modele do serwisu nad którym pracuję mogę podpiąć jeszcze PC z RTX 4070. Wykorzystuje własny loadbalancer który wspiera zewnętrznego providera na razie zaimplementowany OpenAI czeka Grok, Google, Antropic ale to w późniejszym etapie projektu loadbalancer rozdziela requesty według ilości tokenów duże idą do OpenAi ale jest limitem małe do lokalnych modeli.

Pokaż załącznik 48834

stress testów jeszcze nie robiłem ale są dla mnie bardzo ważne jak coś będę miał może podrzucę.

[EDITED]
Dodam tylko że tu nie chodzi czy Twój sprzęt jest na jakiejś liście ale czy na liście twojego sprzętu są pewne technologie to po pierwsze, nie napisałeś nic co by mogło przybić do realnego problemu z uruchomieniem ai na qnapie
SYCLIntel oraz Nvidia GPU
CUDANvidia GPU
HIPAMD GPU
ZenDNNAMD CPU
VulkanGPU
AVX, AVX2, AVX512 and AMX support for x86 architecturesgeneralnie CPU
OpenCL<- praktycznie każde GPU z OpenGL
Kliknij, aby rozwinąć...
O jakim AI na qnapie mówisz? Wszystko co chciałem uruchomiłem i działa pięknie tylko duże modele się nie wczytują bo GPU ma za mało ramu i tego dotyczy moje pierwotne pytanie.
Połączono posty:

Silas Mariusz napisał:
Skoro na 1050ti chciałeś odpalać llm to jak chcesz w piwnicy mam gdzieś S3 Trio64
Kliknij, aby rozwinąć...
Uruchomiłem LLMa na 1050ti na tym qnapie i działa pięknie ale nie wczytują się większe modele.
 
Głosuj w górę 0 Zgłoszenie negatywne
Musisz się zalogować lub zarejestrować, aby odpowiedzieć tutaj.
Początek strony Dół
Z powrotem