KI-Dokumenten Chatbot für ProjektMagazin.de
Wir haben für ProjektMagazin einen von KI angetriebenen Dokumenten-Chatbot entwickelt, der Minuten manueller Suche in Sekunden intelligenter Konversation umwandelt und den Benutzern sofortigen Zugang zu Tausenden von Projektmanagement-Ressourcen bietet.
Über das ProjektMagazin
Was wir gebaut haben
1. Intelligentes System zur Klassifizierung von Fragen
Wir haben ein intelligentes Routing-System implementiert, das jede eingehende Frage automatisch analysiert, um die beste Vorgehensweise zu ermitteln.
- Wenn Benutzer einfache Fragen wie „Warum sind Sie hier?“ oder „Was können Sie tun?“ stellen, erkennt unser System diese als allgemeine Anfragen und leitet sie direkt an einen leichtgewichtigen Antwortgenerator weiter.
- Bei dokumentspezifischen Fragen aktiviert das System unsere vollständige Abruf-Pipeline.
Diese intelligente Klassifizierung hilft, API-Kosten zu sparen, indem unnötige Suchvorgänge in der Dokumentendatenbank für Fragen, die dies nicht erfordern, vermieden werden.
Das Ergebnis:
Der Kunde erzielt nun schnellere Antwortzeiten und hält gleichzeitig die Betriebskosten vorhersehbar und nachhaltig, selbst wenn die Nutzung zunimmt.
2. Erweiterte Dokumentenindizierung mit umfangreichen Metadaten
Das Droptica-Team hat ein umfassendes Indexierungssystem entwickelt, das über JSON-APIs direkt mit der Drupal-Datenbank von ProjektMagazin verbunden ist. Im Gegensatz zur einfachen Textextraktion erfasst unser System reichhaltige Metadaten zu jedem Dokument:
- Kategorie- und Taxonomiezuordnungen für eine präzise Filterung.
- Autoreninformationen und IDs für die Quellenangabe.
- Benutzerdefinierte Eigenschaften, die für die Inhaltsstruktur von ProjektMagazin spezifisch sind.
Dieser metadatenreiche Ansatz ermöglicht es dem Chatbot, nicht nur genaue Antworten zu geben, sondern auch den richtigen Kontext und die Quelle anzugeben. Die Nutzer können genau sehen, aus welchen Dokumenten und Kategorien ihre Antworten stammen, was Vertrauen und Transparenz schafft.
Das Ergebnis:
Wir haben die Indizierungsarchitektur so konzipiert, dass sie vollständig erweiterbar ist. Der Kunde kann problemlos neue Inhaltstypen hinzufügen – seien es Artikel, Taxonomiebegriffe oder völlig neue Entitätstypen –, ohne dass systemweite Änderungen erforderlich sind. Jeder Inhaltstyp verfügt über einen eigenen Endpunkt und eine eigene Indizierungspipeline, wodurch die Erweiterung einfach und wartungsfreundlich ist.
3. Zweistufige Dokumentbewertung für höchste Genauigkeit
Wir haben einen innovativen zweistufigen Abrufprozess implementiert, der die Antwortqualität erheblich verbessert:
- Stufe 1: Grober Abruf
- Unsere Vektorsuche ruft etwa 20 Dokumentfragmente ab, die relevante Informationen enthalten könnten.
- Stufe 2: LLM-gestützte Bewertung
- Jeder potenzielle Ausschnitt wird dann vom LLM auf seine tatsächliche Relevanz für die jeweilige Frage hin bewertet. Das System bewertet jeden Ausschnitt und wählt nur die 12 relevantesten Informationen für die Generierung der Antwort aus.
Das Ergebnis:
Dieser Ansatz stellt sicher, dass die Nutzer Antworten erhalten, die auf wirklich relevanten Inhalten basieren und nicht nur semantisch ähnliche Texte sind. Der Kunde berichtete von einer deutlichen Verbesserung der Antwortgenauigkeit und der Nutzerzufriedenheit nach der Einführung der Dokumentenbewertung.
6. Integrierte Sicherheitsmaßnahmen des KI-Dokumenten-Chatbots
Wir haben einen robusten Schutz vor Prompt-Injection implementiert, um böswillige Versuche, den Chatbot zu manipulieren, abzuwehren. Unsere Sicherheitsmaßnahmen umfassen:
- Eingabevalidierung, um Injection-Versuche zu erkennen und zu blockieren.
- Isolierung der System-Prompts, um unbefugte Änderungen von Anweisungen zu verhindern.
- Antwortfilterung, um sicherzustellen, dass die Ausgaben innerhalb der zulässigen Grenzen bleiben.
- Kontinuierliche Überwachung, um neue Angriffsmuster zu identifizieren.
Das Ergebnis:
Tests haben bestätigt, dass die implementierten Sicherheitsmaßnahmen gängige Prompt-Injection-Versuche wirksam blockiert und sichergestellt haben, dass die Antworten des Chatbots innerhalb der vorgesehenen Grenzen geblieben sind.
7. Industriestandard-Tools zur Überwachung und Verbesserung
Wir haben den Chatbot mit branchenüblichen Tools und Frameworks entwickelt, die robuste Überwachungsfunktionen und Flexibilität für kontinuierliche Verbesserungen bieten. Dieser Ansatz hat uns Folgendes gebracht:
- Vollständige Beobachtbarkeit durch LangSmith zur Verfolgung aller LLM-Interaktionen und -Kosten.
- Erfassung von Nutzer-Feedback, das direkt in die Benutzeroberfläche integriert ist, um Qualitätsbewertungen zu den Antworten des Chatbots zu sammeln.
- Flexible Architektur, die eine einfache Integration neuer Funktionen und Fähigkeiten ermöglicht.
- Überwachung auf Produktionsniveau, um Probleme und Optimierungsmöglichkeiten zu identifizieren.
- Framework-Unabhängigkeit, die es uns ermöglicht, das System an die Fortschritte der KI-Technologie anzupassen und weiterzuentwickeln.
Das Ergebnis:
Diese Tooling-Infrastruktur stellt sicher, dass der Chatbot kontinuierlich überwacht, verbessert und an neue Best Practices angepasst werden kann, ohne an eine bestimmte proprietäre Plattform gebunden zu sein. Das Feedback der Benutzer zur Antwortqualität liefert wertvolle Erkenntnisse für die kontinuierliche Weiterentwicklung des Systems.
Auswirkungen auf das Geschäft und betriebliche Verbesserungen
Der Kunde berichtet von einer hohen Benutzerzufriedenheit und hat bereits visuelle Verbesserungen der Benutzeroberfläche als nächste Verbesserungsphase identifiziert – ein klares Zeichen dafür, dass die Kernfunktionalität alle seine Anforderungen erfüllt.
Technologieauswahl
Wir haben unseren Technologie-Stack auf der Grundlage von Produktionssicherheit, Skalierbarkeit und langfristiger Wartbarkeit ausgewählt.
Lesen Sie mehr über die technischen Aspekte dieses Projekts in unserem Blog
In unseren Artikeln erläutern wir unter anderem, wie wir die Aktualität des Chatbot-Wissens sichergestellt haben, wie wir Werkzeuge und Frameworks für den Aufbau einer stabilen RAG-Pipeline ausgewählt haben und welche Techniken wir eingesetzt haben, um die Antwortzeiten zu verkürzen und die Genauigkeit der generierten Ergebnisse zu erhöhen.
