FAQ Jak używać dużych modeli językowych do Qsirch RAG search?

QNAP

Bot
Management
29 Kwiecień 2013
2 108
34
88
Taipei
www.qnap.com
Obsługiwane produkty
Qsirch 6.0.0 (lub nowszy) na wszystkich platformach



Wyszukiwanie RAG w Qsirch z chmurowymi i lokalnymi modelami LLM
Qsirch obsługuje korzystanie z Retrieval-Augmented Generation (RAG) z chmurowymi dużymi modelami językowymi (LLM) w celu dostarczania dokładnych i kontekstowych odpowiedzi. Po wprowadzeniu zapytania Qsirch pobiera odpowiednie dokumenty z serwera NAS i wykorzystuje je jako kontekst dla modelu językowego. To połączenie wyszukiwania i generatywnej sztucznej inteligencji umożliwia Qsirch generowanie precyzyjnych i opartych na danych odpowiedzi na podstawie własnych danych.

Qsirch obsługuje również konwersacje wieloetapowe, umożliwiając naturalne i kontekstowe interakcje. Użytkownicy mogą zadawać pytania uzupełniające bez powtarzania wcześniejszego kontekstu, a kontekst jest zachowywany w kolejnych etapach, co zapewnia spójne odpowiedzi. Obsługa konwersacji wieloetapowych działa zarówno w trybach RAG w chmurze, jak i lokalnych.



Integracja RAG z chmurowymi usługami AI
Aby zintegrować wyszukiwanie RAG, należy najpierw uzyskać klucz API od wybranej usługi AI.

ChatGPT (OpenAI API)
ChatGPT (OpenAI API) zapewnia potężne modele GPT zarówno do osadzania RAG, jak i do generowania odpowiedzi. Wykonaj poniższe kroki, aby uzyskać klucz API:

  1. Zarejestruj się, aby utworzyć konto w OpenAI: https://auth.openai.com/create-account
  2. Utwórz klucz API w ustawieniach konta.
Więcej informacji można znaleźć w OpenAI API Documentation.

Azure OpenAI
Azure OpenAI zapewnia dostęp do modeli OpenAI (takich jak GPT-4.1) za pośrednictwem infrastruktury Azure, co jest idealne dla rozwiązań korporacyjnych. Wykonaj poniższe kroki, aby uzyskać klucz API:

  1. Zaloguj się do Azure Portal.
  2. Wybierz swój zasób OpenAI (lub utwórz nowy, jeśli jeszcze go nie masz).
  3. W menu po lewej stronie kliknij Keys and Endpoint.
  4. Skopiuj klucz API i skopiuj punkt końcowy (podstawowy adres URL) dla żądań API.
Więcej informacji można znaleźć w Azure OpenAI Documentation.

Gemini (Google Cloud AI)
Gemini (Google Cloud AI) zapewnia zestaw modeli zaprojektowanych do wnioskowania o wysokiej wydajności i RAG. Wykonaj poniższe kroki, aby uzyskać klucz API:

  1. Odwiedź 使用 Gemini API 金鑰 | Google AI for DevelopersGoogle Gemini API Documentation.
  2. Uzyskaj klucz API Gemini w Google AI Studio.
  3. Zaloguj się na swoje konto Google.
  4. Kliknij Create API key.
Więcej informacji można znaleźć w Google Cloud AI Documentation.

OpenAI-Compatible API
OpenAI Compatible API umożliwia użytkownikom dostęp do różnych modeli AI poza ofertą OpenAI, w tym modeli takich jak DeepSeek i Grok, przy użyciu tego samego formatu API. Umożliwia to bezproblemową integrację z istniejącymi aplikacjami zbudowanymi dla OpenAI API. Wykonaj poniższe kroki, aby uzyskać klucz API:

  1. Wybierz dostawcę obsługującego OpenAI-compatible API (na przykład DeepSeek lub Grok).
  2. Zarejestruj się na platformie dostawcy.
  3. Wygeneruj klucz API w ustawieniach konta.
  4. W razie potrzeby zaktualizuj punkt końcowy API i ustawienia modelu.
Więcej informacji można znaleźć w oficjalnej dokumentacji API dostawcy.



Lokalne wyszukiwanie RAG
Dla zaawansowanych użytkowników i przedsiębiorstw, którzy wymagają pełnej prywatności danych lub możliwości AI offline, Qsirch oferuje lokalne wyszukiwanie RAG zasilane przez lokalnie hostowane LLM. Ten tryb działa w całości na serwerze NAS lub podłączonym sprzęcie, bez wysyłania danych do usług zewnętrznych.
UwagaTa funkcja jest dostępna tylko w wybranych modelach NAS. Szczegółowe informacje można znaleźć w wprowadzeniu do wyszukiwania RAG na stronie internetowej QNAP.Aby włączyć lokalny RAG:

  1. Upewnij się, że LLM Core jest gotowy.
  2. Ustaw GPU w trybie Container Station (Przejdź do Panel sterowania > Sprzęt > Zasoby sprzętowe > Użycie zasobów > Tryb Container Station).



Jak używać wyszukiwania RAG w Qsirch

  1. Przejdź do Ustawienia > Ustawienia administracyjne > Wyszukiwanie RAG.
    5feb320a059002aefbf3dc7af950f33e.png
  2. Dodaj jedną lub więcej usług chmurowych, aby korzystać z wyszukiwania RAG.
    b34a0f7a0329ba78cce5b1bce4f65cd1.png


    2cd959f5ddf69240bacc863c785554fe.png
  3. (Opcjonalnie) Zweryfikuj swój klucz API. Pomaga to sprawdzić, czy klucz API jest prawidłowy.

    7f243e2192a9ec0499c3bb52f7cde561.png
  4. Pobierz jeden lub więcej modeli brzegowych z usług lokalnych. Ta funkcja może być używana tylko w określonych modelach NAS.

    f0e8ff5dd11dedae78471344c4b144dc.png


    c5579af23935e55cca48648dbfcb9635.png
  5. Dodaj więcej modeli AI zgodnych z OpenAI API, w tym serie GPT, modele DeepSeek i modele Grok.
    3096d5646d50ccc5721c2a1267328a9d.png
  6. Wybierz formaty plików dla wyszukiwania RAG.
    c73735642bc2cfe0974f3460215b29b8.png
  7. Przejdź do strony głównej Qsirch i kliknij przycisk wyszukiwania RAG.
    da6781f6d8f2681c5de77740c38459b1.png
  8. Wyszukiwanie RAG w Qsirch będzie używać tylko plików zawartych w "Źródle" do pobierania danych.
    b39cde5074a087e45d01c429f2033883.png
  9. Zaznacz model, którego chcesz użyć, a następnie rozpocznij korzystanie z wyszukiwania RAG.

    1e1f0af294335c2e81a5e3abe0d5e538.png