Qsirch 6.0.0 (lub nowszy) na platformie QuTS hero
Dla zaawansowanych użytkowników i przedsiębiorstw wymagających pełnej prywatności danych lub działania AI w trybie offline, Qsirch uruchamia RAG na lokalnie hostowanych modelach LLM. Wszystkie operacje są wykonywane na urządzeniu NAS lub podłączonym sprzęcie – żadne dane nie opuszczają środowiska użytkownika.
Zalecenia sprzętowe
- NAS: TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- Karty GPU: RTX 6000 Ada i RTX 4000 Ada
- QuTS hero 5.2.1 lub nowszy
- LLM Core jest zainstalowany i włączony
- Przejdź do Panel sterowania > Sprzęt > Zasoby sprzętowe > Użycie zasobów > Tryb Container Station
LLM Core przenosi duże modele językowe bezpośrednio na urządzenie NAS, umożliwiając Qsirch prywatne i wydajne uruchamianie RAG bez korzystania z usług chmurowych. Dzięki wbudowanemu zarządzaniu modelami można pobierać modele lokalne, organizować je i przełączać się między nimi, a następnie używać ich w Qsirch do generowania odpowiedzi. Wszystko działa na sprzęcie użytkownika, zapewniając pełną kontrolę nad wydajnością i prywatnością.
Aktualnie obsługiwane modele lokalne (lista jest aktualizowana; sprawdź w aplikacji, aby zobaczyć najnowsze modele):
Lokalne wyszukiwanie RAG (On-Premise)
Dla zaawansowanych użytkowników i przedsiębiorstw wymagających pełnej prywatności danych lub działania AI w trybie offline, Qsirch uruchamia RAG na lokalnie hostowanych modelach LLM. Wszystkie operacje są wykonywane na urządzeniu NAS lub podłączonym sprzęcie – żadne dane nie opuszczają środowiska użytkownika.
Sprzęt i konfiguracja
Zalecenia sprzętowe
- NAS: TS-h1290FX (https://www.qnap.com/zh-tw/product/ts-h1290fx)
- Karty GPU: RTX 6000 Ada i RTX 4000 Ada
- QuTS hero 5.2.1 lub nowszy
- LLM Core jest zainstalowany i włączony
- Przejdź do Panel sterowania > Sprzęt > Zasoby sprzętowe > Użycie zasobów > Tryb Container Station
LLM Core (aplikacja) – modele obsługiwane przez lokalny RAG (On-Prem)
LLM Core przenosi duże modele językowe bezpośrednio na urządzenie NAS, umożliwiając Qsirch prywatne i wydajne uruchamianie RAG bez korzystania z usług chmurowych. Dzięki wbudowanemu zarządzaniu modelami można pobierać modele lokalne, organizować je i przełączać się między nimi, a następnie używać ich w Qsirch do generowania odpowiedzi. Wszystko działa na sprzęcie użytkownika, zapewniając pełną kontrolę nad wydajnością i prywatnością.
Aktualnie obsługiwane modele lokalne (lista jest aktualizowana; sprawdź w aplikacji, aby zobaczyć najnowsze modele):
| Nazwa wyświetlana | Parametry | Kwantyzacja | Rozmiar |
|---|---|---|---|
| DeepSeek R1 7B | 7,628B | Q4_K_M | 4,70 GB |
| DeepSeek R1 14B | 14,8B | Q4_K_M | 9,00 GB |
| Gemma3 12B | 12,2B | Q4_K_M | 8,10 GB |
| DeepSeek R1 8B | 8,03B | Q4_K_M | 4,90 GB |
| DeepSeek R1 32B | 32,8B | Q4_K_M | 20,00 GB |
| Gemma3 1B | 1,0B | Q4_K_M | 0,815 GB |
| Gemma3 4B | 4,38B | Q4_K_M | 3,30 GB |
| Gemma3 27B | 27,4B | Q4_K_M | 18,00 GB |
| gpt-oss 20B | 20,98B | MXFP4 | 14,00 GB |
| Mistral 7B | 7,25B | Q4_K_M | 4,10 GB |
| Microsoft Phi-4 14B | 14,7B | Q4_K_M | 9,10 GB |
Jak skonfigurować usługę lokalną (On-Premise) w Qsirch
- Przejdź do Ustawienia > Ustawienia administratora > Wyszukiwanie RAG > Usługa lokalna (On-Premise).
- Jeśli LLM Core nie jest zainstalowany/włączony, kliknij Włącz teraz, aby przejść do centrum aplikacji i zainstalować/włączyć LLM Core.
- Jeśli karta GPU nie jest ustawiona w trybie Container Station, kliknij Włącz teraz, aby przejść do Panelu sterowania i ustawić kartę GPU w trybie Container Station.