#06 - RAG: Firmenwissen nutzen, ohne es rauszugeben

Fragen Sie eine KI nach Ihrer Urlaubsregelung – und sie erfindet eine. Geben Sie ihr Ihr Handbuch – und sie zitiert die richtige Stelle. In Folge 6 erkläre ich RAG, die Technik hinter „KI mit Firmenwissen“: wie sie funktioniert, warum sie lokal betrieben werden sollte und woran Projekte scheitern.

Werkzeuge zum Ausprobieren

• AnythingLLM Desktop – kostenlose App, läuft komplett lokal
• Open WebUI – Web-Oberfläche für Ollama mit Wissensbereich
• Mehrsprachige Embedding-Modelle in Ollama, z. B. bge-m3 oder qwen3-embedding

Praxis-Tipp: zehn unkritische Dokumente, zehn Fragen mit bekannter Antwort – dann wissen Sie, ob es trägt.

Grafik zur Folge: So funktioniert RAG

Kapitel

00:00 Cold Open · 00:32 Begrüßung · 01:02 Das Problem: Die KI kennt Ihr Unternehmen nicht · 02:40 So funktioniert RAG · 03:28 Warum lokal hier besonders zählt · 04:37 Stolpersteine · 05:26 Praxis-Tipp: Zehn Dokumente, zehn Fragen · 06:08 Ausblick auf #07

Links und Quellen

• AnythingLLM-Doku: LanceDB als lokale Vektordatenbank