Case Study privateGPT w kontenerze (deprecated)

[3Qn]

Dla zainteresowanych na podstawie privateGPT zkonteneryzowana wersja z porawkami bez potrzeby robienia sobie śmietnika z stacji roboczej.

Procesor z AVX, AVX2 bardziej niż zalecany

Dodanie nowego publicznego docker-registry (github)

docker-compose.yml lub z pozycji szukaji obrazów

version: '3.7'

services:
  private_gpt:
    image: ghcr.io/sedzisz/privategptid:latest
    container_name: private_gpt
    stdin_open: true
    tty: true
    volumes:
      - ./source_documents:/source_documents

Podmontowany katalog source_documents akceptuje dokumenty w formatach:

• .csv: CSV,
• .docx: Word Document,
• .doc: Word Document,
• .enex: EverNote,
• .eml: Email,
• .epub: EPub,
• .html: HTML File,
• .md: Markdown,
• .msg: Outlook Message,
• .odt: Open Document Text,
• .pdf: Portable Document Format (PDF),
• .pptx : PowerPoint Document,
• .ppt : PowerPoint Document,
• .txt: Text file (UTF-8)

podman exec -it private_gpt bash

Wchodzimy do kontenera z ContainerStation lub z konsoli interactywnie "-it"

docker exec -it private_gpt bash

Akutalizowanie ładowanie danych:

[gpt@NAS ~]$ docker exec -it private_gpt python ingest.py
Appending to existing vectorstore at db
Loading documents from source_documents
Loading new documents: 0it [00:00, ?it/s]
No new documents to load

Zadawanie pytań:

[gpt@NAS ~]$ docker exec -it private_gpt python privateGPT.py
Found model file at  models/ggml-gpt4all-j-v1.3-groovy.bin
gptj_model_load: loading model from 'models/ggml-gpt4all-j-v1.3-groovy.bin' - please wait ...
gptj_model_load: n_vocab = 50400
gptj_model_load: n_ctx   = 2048
gptj_model_load: n_embd  = 4096
gptj_model_load: n_head  = 16
gptj_model_load: n_layer = 28
gptj_model_load: n_rot   = 64
gptj_model_load: f16     = 2
gptj_model_load: ggml ctx size = 5401.45 MB
gptj_model_load: kv self size  =  896.00 MB
gptj_model_load: ................................... done
gptj_model_load: model size =  3609.38 MB / num tensors = 285

Enter a query: