So geht’s: In sieben Wochen zum KI-Chatbot

In diesem Artikel lesen Sie,

• wie der KI-Chatbot der Open Telekom Cloud entstand,
• welchen Mehrwert er für die Nutzer der Cloud schafft und
• welche Rolle Retrieval Augmented Generation (RAG) dabei spielte.

Welche Potenziale stecken in Künstlicher Intelligenz? Die Open Telekom Cloud hat – als Anwender – den Versuch gewagt. Unsere Webseite bietet seit Juli 2024 den ersten LLM-basierten, frei verfügbaren KI-Chatbot eines Cloud-Anbieters. Wir kombinieren dazu die Stärken von Künstlicher Intelligenz und Retrieval Augmented Generation (RAG). Der Chatbot entstand in nur sieben Wochen gemeinsam mit unserem Partner amberSearch.

Alle Welt redet von Künstlicher Intelligenz und viele Unternehmen wollen vor allem zwei Fragen beantworten:

• Wo sind KI-Use-Cases, die uns spürbare Mehrwerte bringen?
• Wie können wir KI-Use-Cases einfach, schnell und kostengünstig verwirklichen?

„Als Open Telekom Cloud haben wir verschiedene Berührungspunkte mit Künstlicher Intelligenz“, weiß Norbert Brüll, der Projektleiter für das ChatBot Frontend, „als KI-Anbieter verfolgen wir verschiedene KI-Initiativen mit unseren Partnern“. Dazu gehören u.a. die Bereitstellung von Entwicklungs- und Trainingsumgebungen (u.a. via ModelArts), Daten-Pipelines, der DSGVO-konforme Betrieb von KI-Services oder das Angebot eines LLM Hub.

„Mit dem aktuellen Projekt haben wir die Perspektive gewechselt und uns auf den Standpunkt eines KI-Anwenders gestellt. Wir wollten die Möglichkeiten von KI für uns und unsere Kunden erkunden“, so Brüll. Der Use Case war schnell gefunden – auch in der Open Telekom Cloud herrscht ein typisches Enterprise-Problem: viele Daten sind an vielen verschiedenen Ecken „verstreut“. Anwender und Nutzer (sowohl intern wie extern) müssen häufig suchen, bis sie die richtigen Informationen finden. Die Lösung liegt – in KI-Zeiten – in einem intelligenten Suchassistenten, der alle Quellen anzapft und die Informationen in einer griffigen Antwort zusammenfasst. 

„Eine Enterprise Search bzw. ein intelligentes Knowledge Management reduziert Suchaufwände in solchen Fällen um durchschnittlich 40 Prozent“, erläutert Bastian Maiworm, der Gründer und Geschäftsführer von amberSearch, „die Produktivitätsgewinne liegen auf der Hand“.

Im Mai 2024 starteten amberSearch und die Open Telekom Cloud das Projekt, um den neuen KI-basierten Chatbot auf die Beine zu stellen. Die Basis dafür waren Dienste, die das Start-up bereits entwickelt hatte und die nun als Standardprodukt schnell und einfach verfügbar sind. Dazu zählen die semantische Suche „amberSearch“ und das Frage-Antwort-System „amberAI“, die auf einem selbst entwickelten und trainierten Large Language Model (LLM) basieren. In der Basisversion fungieren die amberSearch-Dienste als eine Art ChatGPT, mit dem man über jedwedes Thema chatten kann.

„Das war aber nicht die Intention unseres Open Telekom Cloud Chatbots“, stellt der Projektleiter fest, „er sollte nach dem Motto ´Find it fast´ unseren Nutzern helfen, relevante Informationen aufzustöbern und für den einfachen Einsatz der Cloud anzuwenden“. Das Ziel war es, Fragen wie „Wie deploye ich einen Kubernetes-Cluster?“ oder „Welche Funktionalitäten bietet der Backup-Service?“ schnell zu beantworten.

Dazu benötigte das bestehende amberSearch-System den Zugriff auf die relevanten Quellen. Im Einzelnen sind das die Webseite der Open Telekom Cloud, die Dokumentenbibliothek (Doc Library), die Inhalte der Community und eine Sammlung von PDFs wie beispielweise die Leistungsbeschreibung. „Damit der Chatbot den Zugriff auf diese Informationen bekommt, haben wir eine Technologie eingesetzt, die als Retrieval Augmented Generation (RAG) bezeichnet wird“, erklärt Maiworm. Beim RAG-Einsatz wird ein KI-Modell nicht neu trainiert oder fine-getunt – damit entfallen auch die entsprechenden Aufwände bzw. Kosten. Stattdessen kooperiert der Chatbot mit einer Enterprise Search. Wird eine Frage gestellt, wird zunächst eine Suche in den angebundenen Quellen ausgelöst. Die Informationen werden dem KI-Modell situativ zur Verfügung gestellt und dann zu einer Antwort verdichtet. Die Informationen verbleiben damit auch innerhalb des Unternehmens bzw. in den Ablagen, in denen sie ohnehin vorgehalten werden. amberSearch bietet verschiedene Verfahren an, um die Daten für den Bot zu erschließen. Konkret wird für die Multimedia-Inhalte der Community (Videos etc.)  eine API genutzt, die anderen Quellen werden mehrmals täglich über einen Crawler durchsucht. Die Informationen werden in einer Vektor-Datenbank gesammelt und vereinheitlicht. Diese Datenbank fungiert dann als konsolidierte Basis für das geballte Open-Telekom-Cloud-Wissen, aus der der Bot sich bedient. Die automatisierten Updates der Vektor-DB stellen sicher, dass der Bot immer über zumindest tagesaktuelles Wissen verfügt. 

Innerhalb von nur sieben Wochen entstand so der Chatbot. Seit Mitte Juli läuft er. Nutzer der Open Telekom Cloud erhalten mit ihm einfachen Zugriff auf aktuelles Wissen, das sie brauchen; langwierige Suchen gehören der Vergangenheit an. Zudem dokumentiert der Bot, aus welchen Quellen er die jeweiligen Informationen gezogen hat – das reduziert die Wahrscheinlichkeit von Halluzinationen. „Unser Chatbot ist ganz simpel über den Support-Reiter an der rechten Bildschirmseite (AI) verfügbar. Eine Anmeldung ist nicht nötig“, so Brüll. „Mit dem Betrieb der Vektor-DB und des Modells innerhalb der Open Telekom Cloud hat das Team volle Kontrolle über die KI. Das schließt auch DSGVO-Compliance ein“, ergänzt Maiworm, „damit kann ggfs. auch eine zweite Stufe realisiert werden, bei der über eine Anmeldung personenbezogene Daten verarbeitet werden“.

Also – ran an den Bot und fragt ihn, was Ihr schon immer über die Open Telekom Cloud wissen wolltet. Der Bot ist übrigens nicht nur ein Informations-Assistent, sondern kann Euch auch ganz praktisch helfen. Norbert Brüll: „Wer einen Service deployen möchte, muss sich nicht durch API-Dokumentationen oder Community-Input hangeln, sondern kann den Bot auch einfach um ein Deployment-Setup auf Container-Basis bitten – inklusive Code“.

Erhalten Sie noch mehr Einblicke zu dem KI-Chatbot im Interview zwischen Bastian Maiworm und Norbert Brüll: