dch iT Academy · RAG-201 · Empfohlener Umfang: 3 Tage · Durchführung auf Anfrage

Wie wird aus einer KI-Vorführung ein nachvollziehbar bewertetes RAG-System? Die Schulung behandelt den Weg vom Dokument bis zur Antwort und trennt Suchqualität, Antwortqualität und Betriebssicherheit. Ziel ist die begründete Auswahl relevanter und zulässiger Informationen, nicht eine möglichst große Kontextmenge.

Zielgruppe und Voraussetzungen

Technische Berater, Plattformingenieure, KI-Verantwortliche und Entwickler mit Grundlagen in Linux, Containern, HTTP/JSON und Skripting. Empfohlen werden die Architektur-Grundlagenschulung oder vergleichbare Kenntnisse. Modelle, Bibliotheken und Container werden für die konkrete Veranstaltung auf Versionen und Lizenzbedingungen geprüft.

Lernziele

• Dokumente mit Metadaten, Versionen und Zugriffsrechten nachvollziehbar verarbeiten.
• Textabschnittsbildung, Vektorrepräsentationen, wortbasierte und semantische Suche getrennt bewerten.
• Suchqualität und Antwortqualität mit einem definierten Testdatensatz messen.
• Quellenbezug, Datenaktualität und Verhalten bei fehlenden Belegen prüfen.
• Zugriffsgrenzen und manipulative Anweisungen in Testdokumenten untersuchen.

Tag 1: Datenbasis und Ausgangsmessung

Dokumenttypen, Textextraktion, Duplikate, Versionierung und strukturorientierte Aufteilung in Textabschnitte. Metadaten, Quellenherkunft und Zugriffsrechte begleiten den Indexaufbau. An einem festen Fragekatalog entsteht eine Ausgangsmessung. Dokumentzugriff, Indexzugriff und Antwortgenerierung werden als getrennte Schritte behandelt.

Tag 2: Informationssuche und Bewertung

Vektorsuche und hybride Suche vergleichen, Trefferlisten zusammenführen und Ergebnisse erneut nach Relevanz ordnen. Die Kontextzusammenstellung wird anhand relevanter Passagen und Referenzantworten untersucht. Je nach Fragestellung werden Kennzahlen wie Recall@k, MRR und nDCG erläutert. Quellenabdeckung und fachliche Korrektheit bleiben getrennte Bewertungskriterien; automatische Bewertungen werden durch menschliche Stichproben ergänzt.

Tag 3: Schutz und Betriebsübergabe

Nutzer- und dokumentbezogene Filter, Tests mit unterschiedlich berechtigten Rollen, manipulative Anweisungen in eigenen Testunterlagen sowie geschützte Protokolle. Danach folgen Aktualisierung und Löschung im Index, kontrollierter Indexwechsel, Rückfallplanung sowie Messung von Antwortzeit und Ressourcenbedarf. RAG ersetzt keine Zugriffskontrolle und schließt falsche Antworten nicht vollständig aus.

Geplante Praxisübungen

1. Eine Wissensbasis mit Dokumentkennungen und Quellenverweisen aufbauen.
2. Zwei Verfahren der Textabschnittsbildung am selben Fragekatalog vergleichen.
3. Vektorsuche mit hybrider Suche und optionaler erneuter Trefferbewertung vergleichen.
4. Zwei Nutzerrollen prüfen: Unzulässige Dokumente dürfen weder im Kontext noch als Quelle erscheinen.
5. Unbeantwortbare Fragen und ein definiertes Nichtwissen-Verhalten testen.
6. Einen Indexwechsel mit anschließender Qualitäts- und Berechtigungsprüfung vorbereiten.

Ergebnisse und Lernkontrolle

Die Teilnehmenden erstellen einen Vergleichsbericht mit Messbedingungen, Grenzen und einer Betriebscheckliste. Zum Abschluss begründen sie eine Verbesserung gegenüber der Ausgangsmessung und dokumentieren auch nicht erfolgreiche Versuche. Leistungswerte werden erst nach tatsächlicher Durchführung angegeben.

Labor und Trainer

Containerfähige Testumgebung mit vereinbartem Modellzugang und synthetischen oder freigegebenen Unterlagen. Der GPU-Bedarf hängt von Modell und Umsetzung ab. Eine bestimmte NVIDIA-Bereitstellung wird nicht ohne Prüfung zugesagt. Das dch-iT-RAG-System kann nach technischer Freigabe als Vorführplattform dienen. Fachliche Leitung: Daniel Chroszcz.

Fachliche Quellen

Quellenstand: 09.10.2026. Lewis und Mitautoren: RAG-Grundlagen; Liu und Mitautoren: Nutzung von Informationen in langen Kontexten; NVIDIA: Hybride Suche; OWASP: Risiken von Vektoren und Wissensindizes. Forschungsergebnisse werden nicht pauschal auf jedes aktuelle Modell übertragen.

Organisation

Eigene Schulung, keine Herstellerzertifizierung. Unterricht auf Deutsch. Termin, Preis, Modellwahl und Laborumfang werden vereinbart; vollständige Übungsanleitungen und Laborfreigabe stehen noch aus. dch iT GmbH, Lothringer Straße 30D, 28211 Bremen; 0421 54 85 76 55; info@dch-it.de. Durchführung auf Anfrage