WissensTransferCamp 2024/wtc24-2-2-illi
Dieser Vortrag präsentiert einen praxisorientierten Werkstattbericht über den Einsatz von Large Language Models (LLMs) in Unternehmen, speziell zur Bewältigung des demografischen Wandels und Wissenstransfers. Das Hauptaugenmerk liegt auf der Entwicklung einer datenschutzkonformen Lösung mittels Embedding Models, die es ermöglicht, interne Unternehmensdaten zu nutzen, ohne diese in externe KI-Systeme zu übertragen oder das zugrundeliegende Modell zu trainieren.
- Session Titel: Potentiale für Generative KI im Expert Debriefing
- Session Owner: Manuel Illi
Herausforderung des demografischen Wandels und Wissenstransfers
Der Ausgangspunkt des Projekts war eine konkrete Kundenanfrage aus der öffentlichen Verwaltung, die vor einem “Pensionierungstsunamis” steht. Die IT-Abteilung des Kunden weist eine deutlich höhere Altersstruktur auf als typische Tech-Unternehmen, wodurch in naher Zukunft ein massiver Wissensverlust droht.
Quality Minds, ursprünglich als IT-Dienstleister gegründet, hat sich über die Jahre zu einem agilen Unternehmen entwickelt, das auch Lehr-Lern-Begleitung anbietet. Das Quality Learning Team entstand aus der Frage: “Wie lernt denn ein agiles Unternehmen?” und bietet heute verschiedene Formate an:
- One-on-one Begleitung mit Lernenden vor Ort
- Re- und Upskilling-Programme
- Gruppen-Lern-Coaching
- Community-Lern-Coaching
Die zentrale Herausforderung bestand darin, eine KI-Lösung zu entwickeln, die sowohl auf der internen Infrastruktur läuft als auch vertrauenswürdig ist. Dabei stellte sich heraus, dass das Training eines eigenen Large Language Models finanziell nicht realisierbar war, selbst für etablierte Behörden in Deutschland.
Technischer Ansatz mit Embedding Models statt direktem Training
Statt ein eigenes LLM zu trainieren, entwickelte das Team einen innovativen Ansatz mit Embedding Models. Dieser unterscheidet sich fundamental vom klassischen Verfahren, bei dem Nutzer direkt mit dem trainierten Modell interagieren.
Der neue Ansatz funktioniert folgendermaßen:
- Datenaufbereitung: Interne Texte werden durch einen Text Splitter in gleichlange Chunks aufgeteilt
- Vektorisierung: Ein Embedding Model erstellt aus diesen Text-Chunks eine Vektordatenbank
- Anfrageverarbeitung: User-Queries werden zunächst an das Embedding Model gesendet
- Kontextsuche: Das System identifiziert die relevantesten Text-Chunks basierend auf Vektorähnlichkeit
- Antwortgenerierung: Diese Chunks werden zusammen mit der Anfrage an das LLM gesendet
Das verwendete Modell (Llama mit 13 Milliarden Parametern) läuft auf einem AI-Cluster mit acht Kernen und kostet etwa 80.000 Euro - ein deutlicher Unterschied zu ChatGPT-4 mit über 300 Milliarden Parametern.
Die Vorteile dieses Ansatzes sind erheblich:
- Keine Überlagerung der internen Daten durch das Trainingsmaterial
- Reduzierung von Halluzinationen
- Vollständige Kontrolle über die Datenbasis
- Möglichkeit zur Nachverfolgung der Antwortquellen
Praktische Implementierung und Testverfahren
Für die Validierung des Systems entwickelte das Team ein innovatives Testverfahren. Da das Trainingsmaterial der LLMs unbekannt ist, war es schwierig zu überprüfen, ob Antworten tatsächlich auf den bereitgestellten Kontextdaten basieren oder aus dem ursprünglichen Training stammen.
Die Lösung bestand in der Erstellung von zehn fiktionalen Texten mit Hilfe von ChatGPT. Diese Texte waren:
- Plausibel klingend, aber völlig erfunden
- Nachweislich nicht in bestehenden Datenquellen vorhanden
- Speziell für Testzwecke konzipiert
Ein Beispiel war die erfundene “WakeShore”-Pille für minutengenaues Schlafmanagement, inklusive fiktiver Autoren und Studienergebnisse. Die Tests zeigten deutliche Unterschiede:
Mit Kontext: Das System referenzierte korrekt die fiktiven Autoren Dr. Olivia Hernandez und Dr. Michael Chang und gab präzise Informationen über das erfundene Produkt wieder.
Ohne Kontext: Das LLM antwortete ehrlich: “I’m sorry, but I’m not aware of any studies specifically on this product.”
Ein weiteres Beispiel testete die Auswirkung der Himmelsrichtung beim Lernen. Mit Kontext gab das System die korrekte Antwort (Osten) und fügte relativierend hinzu, dass dies nicht für jedermann gelten müsse. Ohne Kontext halluzinierte das System eine esoterische Antwort über die Vorteile der Nordausrichtung.
Vorteile der lokalen Datenhaltung und Nachvollziehbarkeit
Ein entscheidender Vorteil des Embedding-Ansatzes ist die vollständige Transparenz und Kontrolle über die Datenquellen. Das System bietet mehrere wichtige Features:
Nachverfolgbarkeit: Nutzer können sich die fünf Text-Chunks anzeigen lassen, auf deren Grundlage eine Antwort generiert wurde. Dies ermöglicht eine Verifikation der Informationen, selbst wenn das System halluziniert.
Datenschutz: Alle Daten bleiben auf der eigenen Infrastruktur. Es werden keine sensiblen Informationen an externe Anbieter übertragen.
Qualitätskontrolle: Durch die Einsicht in die Quell-Chunks können Nutzer die Relevanz und Korrektheit der verwendeten Informationen bewerten.
Flexibilität: Die Vektordatenbank gehört vollständig dem Unternehmen und kann nach eigenen Anforderungen verwaltet werden.
Dieser Ansatz wird als “goldener Mittelweg” zwischen der Nutzung externer KI-Services und dem Aufbau komplett eigener Systeme beschrieben. Unternehmen können von den Vorteilen moderner LLMs profitieren, ohne ihre Daten preiszugeben oder massive Investitionen in eigene Modellentwicklung zu tätigen.
Anwendungsfälle und zukünftige Entwicklungsmöglichkeiten
Das System wurde bereits in einem Testprojekt beim Kunden implementiert, wobei ChatGPT als externe Schnittstelle dient, während der gesamte Datenschatz in der internen Datenbank liegt.
Konkrete Anwendungsszenarien umfassen:
- Außendienst-Support: Schnelle Antworten für Beratungsgespräche vor Ort, mit der Möglichkeit, bei Bedarf auf detaillierte Datenblätter zuzugreifen
- Technische Dokumentation: Auffinden spezifischer Bauanleitungen oder Montageinformationen
- Wissensmanagement: Bewahrung und Zugänglichmachung von Expertenwissen vor Pensionierungen
Herausforderungen und offene Fragen für die Weiterentwicklung:
- Skalierung: Wie verhält sich das System bei 1.000 statt 10 Dokumenten?
- Automatisierung: Entwicklung von Systemen zur automatischen Aktualisierung der Datenbank
- Vergessen: Mechanismen zur gezielten Entfernung veralteter Informationen
- Textstruktur: Optimierung für narrative Textformate, die über einfache wissenschaftliche Papers hinausgehen
Besonders bei narrativen Texten besteht noch Forschungsbedarf. Das Problem liegt darin, dass wichtige Informationen möglicherweise erst am Ende eines Textes stehen und den gesamten Kontext uminterpretieren können - ein Phänomen, das bei der Chunk-basierten Verarbeitung verloren gehen könnte.
Fazit und Ausblick
Der vorgestellte Ansatz mit Embedding Models bietet eine praktikable Lösung für Unternehmen, die von den Vorteilen generativer KI profitieren möchten, ohne ihre Datensouveränität aufzugeben. Die Kombination aus lokaler Datenhaltung, Nachvollziehbarkeit der Antworten und relativ geringen Implementierungskosten macht diesen Ansatz besonders attraktiv für Organisationen mit sensiblen Daten.
Zentrale Erkenntnisse:
- Embedding Models ermöglichen die Nutzung interner Daten ohne Training eigener LLMs
- Die Transparenz der Quellen reduziert das Risiko von Halluzinationen erheblich
- Der Ansatz ist kostengünstiger als das Training eigener Modelle, aber sicherer als externe APIs
- Praktische Tests mit fiktionalen Daten beweisen die Funktionsfähigkeit des Konzepts
Offene Forschungsfragen:
- Optimierung der Text-Segmentierung für verschiedene Dokumenttypen
- Entwicklung automatisierter Update-Mechanismen für die Wissensbasis
- Skalierbarkeit bei großen Datenmengen
- Integration narrativer Textstrukturen
Handlungsempfehlungen:
Das Team empfiehlt, den Ansatz mit realen Daten zu testen und dabei besonders auf die Skalierbarkeit zu achten. Unternehmen sollten systematisch evaluieren, welche Arten von Dokumenten sich am besten für diesen Ansatz eignen und wie sich die Performance bei größeren Datenmengen entwickelt. Zudem ist es wichtig, frühzeitig Prozesse für die Pflege und Aktualisierung der Wissensbasis zu etablieren.
