Wiedza Jak używać dużych modeli językowych do wyszukiwania RAG w Qsirch?

Qsirch 6.0.0 (lub nowszy) na wszystkich platformach



Wyszukiwanie RAG w Qsirch z wykorzystaniem chmurowych i lokalnych modeli LLM​


Qsirch obsługuje wyszukiwanie z wykorzystaniem technologii Retrieval-Augmented Generation (RAG) w połączeniu z chmurowymi dużymi modelami językowymi (LLM), zapewniając dokładne i kontekstowe odpowiedzi. Po wprowadzeniu zapytania Qsirch pobiera odpowiednie dokumenty z urządzenia NAS i wykorzystuje je jako kontekst dla modelu językowego. To połączenie wyszukiwania z generatywną sztuczną inteligencją umożliwia Qsirch generowanie precyzyjnych i rzetelnych odpowiedzi na podstawie własnych danych użytkownika.

Qsirch obsługuje również wieloturowe konwersacje, umożliwiając naturalne i kontekstowe interakcje. Użytkownicy mogą zadawać pytania uzupełniające bez powtarzania poprzedniego kontekstu, a kontekst jest zachowany przez kolejne tury, co zapewnia spójne odpowiedzi. Obsługa wieloturowych konwersacji działa zarówno w trybie chmurowym, jak i lokalnym RAG.



Integracja RAG z chmurowymi usługami AI​


Aby zintegrować wyszukiwanie RAG, należy najpierw uzyskać klucz API od wybranej usługi AI.

ChatGPT (OpenAI API) udostępnia zaawansowane modele GPT zarówno do osadzania RAG, jak i do generowania odpowiedzi. Aby uzyskać klucz API, wykonaj poniższe kroki:

  1. Zarejestruj konto w OpenAI: https://auth.openai.com/create-account
  2. Utwórz klucz API w ustawieniach konta.

Więcej informacji można znaleźć w dokumentacji OpenAI API.

Azure OpenAI zapewnia dostęp do modeli OpenAI (takich jak GPT-4.1) za pośrednictwem infrastruktury Azure, co jest idealnym rozwiązaniem dla przedsiębiorstw. Aby uzyskać klucz API, wykonaj poniższe kroki:

  1. Zaloguj się do portalu Azure.
  2. Wybierz zasób OpenAI (lub utwórz go, jeśli jeszcze go nie masz).
  3. W lewym menu kliknij Klucze i punkt końcowy.
  4. Skopiuj klucz API oraz punkt końcowy (bazowy adres URL) dla żądań API.

Więcej informacji można znaleźć w dokumentacji Azure OpenAI.

Gemini (Google Cloud AI) oferuje zestaw modeli zaprojektowanych do wydajnego wnioskowania i obsługi RAG. Aby uzyskać klucz API, wykonaj poniższe kroki:

  1. Odwiedź stronę 使用 Gemini API 金鑰 | Google AI for Developersdokumentacji Google Gemini API.
  2. Uzyskaj klucz Gemini API w Google AI Studio.
  3. Zaloguj się na swoje konto Google.
  4. Kliknij Utwórz klucz API.

Więcej informacji można znaleźć w dokumentacji Google Cloud AI.

OpenAI Compatible API umożliwia użytkownikom dostęp do różnych modeli AI wykraczających poza ofertę OpenAI, w tym modeli takich jak DeepSeek i Grok, przy użyciu tego samego formatu API. Zapewnia to bezproblemową integrację z istniejącymi aplikacjami zbudowanymi dla OpenAI API. Aby uzyskać klucz API, wykonaj poniższe kroki:

  1. Wybierz dostawcę obsługującego API zgodne z OpenAI (na przykład DeepSeek lub Grok).
  2. Zarejestruj się na platformie wybranego dostawcy.
  3. Wygeneruj klucz API w ustawieniach konta.
  4. Zaktualizuj punkt końcowy API oraz ustawienia modelu zgodnie z wymaganiami.

Więcej informacji można znaleźć w oficjalnej dokumentacji API danego dostawcy.



Lokalne wyszukiwanie RAG​

Dla zaawansowanych użytkowników i przedsiębiorstw wymagających pełnej prywatności danych lub możliwości działania AI w trybie offline, Qsirch oferuje lokalne wyszukiwanie RAG oparte na modelach LLM hostowanych lokalnie. Ten tryb działa w całości na urządzeniu NAS lub podłączonym sprzęcie, bez przesyłania danych do zewnętrznych usług.

uwaga
Ta funkcja jest dostępna tylko na wybranych modelach urządzeń NAS. Szczegółowe informacje można znaleźć we wprowadzeniu do wyszukiwania RAG na stronie internetowej QNAP.


Aby włączyć lokalne wyszukiwanie RAG:

  1. Upewnij się, że LLM Core jest gotowy.
  2. Ustaw GPU w tryb Container Station (przejdź do Panel sterowania > Sprzęt > Zasoby sprzętowe > Użycie zasobów > Tryb Container Station).



Jak korzystać z wyszukiwania RAG w Qsirch​


  1. Przejdź do Ustawienia > Ustawienia administracyjne > Wyszukiwanie RAG.
    5feb320a059002aefbf3dc7af950f33e.png
  2. Dodaj co najmniej jedną usługę chmurową, aby korzystać z wyszukiwania RAG.
    b34a0f7a0329ba78cce5b1bce4f65cd1.png


    2cd959f5ddf69240bacc863c785554fe.png
  3. (Opcjonalnie) Zweryfikuj klucz API. Pozwala to sprawdzić, czy klucz API jest prawidłowy.

    7f243e2192a9ec0499c3bb52f7cde561.png
  4. Pobierz co najmniej jeden model krawędziowy z usług lokalnych. Ta funkcja jest dostępna tylko na wybranych modelach urządzeń NAS.

    f0e8ff5dd11dedae78471344c4b144dc.png


    c5579af23935e55cca48648dbfcb9635.png
  5. Dodaj kolejne modele AI zgodne z OpenAI API, w tym modele z serii GPT, modele DeepSeek oraz modele Grok.
    3096d5646d50ccc5721c2a1267328a9d.png
  6. Wybierz formaty plików dla wyszukiwania RAG.
    c73735642bc2cfe0974f3460215b29b8.png
  7. Przejdź na stronę główną Qsirch i kliknij przycisk wyszukiwania RAG.
    da6781f6d8f2681c5de77740c38459b1.png
  8. Wyszukiwanie RAG w Qsirch będzie pobierać dane wyłącznie z plików uwzględnionych w sekcji „Źródło".
    b39cde5074a087e45d01c429f2033883.png
  9. Zaznacz model, którego chcesz użyć, a następnie rozpocznij korzystanie z wyszukiwania RAG.

    1e1f0af294335c2e81a5e3abe0d5e538.png