Künstliche Intelligenz, aber souverän

In diesem Artikel lesen Sie,

• welche Unternehmensherausforderungen amberSearch mit KI löst,
• warum Cloud und KI eine perfekte Kombination sind und
• wie amberSearch die Souveränitätsansprüche ihrer Kunden erfüllte.

amberSearch schnürt mit dem LLM-Serving-Service ein Paket für Unternehmen mit sensiblen Daten und erlaubt die souveräne Nutzung von Künstlicher Intelligenz.

„Wo war nochmal diese Information, die ich dringend brauche?“ – eine typische Situation im Arbeitsalltag vieler Office-Beschäftigten. Die Suche nach Unternehmensinformationen stiehlt im Schnitt jeden Tag knapp eine halbe Stunde Arbeitszeit. Ein typisches Szenario, in dem Künstliche Intelligenz echte Beiträge zu einer höheren Mitarbeiterproduktivität leisten kann.

Hier setzt die amber Tech GmbH mit ihrem Service amberSearch an: „Unsere Mission ist es, den Status Quo von veralteten B2B-Softwarelösungen zu durchbrechen und unseren Kunden in unseren Enterprise-Search-Produkten die Mehrwerte modernster Künstlicher Intelligenz (KI) sowie eine intuitive User Experience zu bieten“, erläutert Philipp Reißel, einer der Gründer und CEO der Aachener KI-Spezialisten. amberSearch macht KI auch für Unternehmen nutzbar, die über keine riesigen Budgets oder IT-Ressourcen verfügen. Mittlerweile arbeitet ein 30-köpfiges Team daran, interne Informationen schnell und kinderleicht zugänglich zu machen. „Wir bieten Out-of-the-Box-Lösungen, die einfach und schnell einzusetzen sind und dabei große Mehrwerte für Unternehmen bieten“, ergänzt Bastian Maiworm, der CRO (Chief Revenue Officer).

Die Geschäftsidee Künstliche Intelligenz für „Enterprise Search“, Suchen innerhalb von Unternehmensressourcen einzusetzen, überzeugt – mittlerweile steht der Name des Service synonym für das Unternehmen. Der KI-Anbieter hat sich einen breiten Kundenstamm über verschiedene Branchen und Unternehmensgrößen hinweg aufgebaut. Zu den Kunden zählen u.a. Schüßler-Plan, Zentis, DB Regio oder die Landmarken AG, aber auch mittelständische Maschinenbauer, Biotech- und Finanzunternehmen.  Besonders im Pharma- und Finanzbereich gelten strikte Compliance- sowie Sicherheitsvorgaben; Unternehmen sind sehr darauf bedacht, dass interne Daten intern bleiben. Stichwort: Datensouveränität.

„Eigenes Infrastrukturmanagement und Hosting kommen für uns nicht in Frage – wir wollen uns auf die Kundenprojekte sowie die Weiterentwicklung unseres KI-Angebots konzentrieren und unnötige Fixkosten vermeiden“, konstatiert Maiworm. Daher hat sich amberSearch schon frühzeitig für den Einsatz der Cloud entschieden. „Die Open Telekom Cloud verschafft uns als zuverlässige Plattform Freiräume für unser Business und erlaubt uns mit dem Business zu skalieren, ohne dass wir eigene Ressourcen anschaffen und betreuen“. Dazu zählen auch die Anforderungen nach GPU-Ressourcen, um eigene KI-Services zu trainieren und zu betreiben. Aber immer häufiger wird das Unternehmen auch mit Souveränitätsanforderungen konfrontiert: KI-Nutzer, besonders im Finanzumfeld, wollen sicherstellen, dass auch amberSearch keinerlei theoretische Zugriffsmöglichkeiten auf ihre Daten hat.

„Auch hierfür bietet die Open Telekom Cloud uns eine einfache und elegante Lösung“, erklärt Bastian Maiworm. Seit 2024 bietet die Telekom mit den LLM-Serving-Services der AI-Foundation-Produktfamilie einen Pool gebrauchsfertiger Large Language Modelle (LLM) und Embedding-Modelle an, die  nahtlos in die kundeneigenen KI-Applikationen über einen API-Key integriert werden können. Die marktführenden Open-Source-Modelle von Meta oder Mistral werden dabei in der Open Telekom Cloud gehostet, während Closed-Source-Modelle von OpenAI, Google oder Anthropic über Drittplattformen bereitgestellt werden. Der Kunde verwaltet seine API-Keys über ein Portal, in dem Nutzer administriert und Token-Verbräuche dargestellt werden können. „Das ist für uns als Nutzer der Open Telekom Cloud sehr komfortabel. Wir können die Dienste über unsere eigene Installation als Burst-Kapazität nutzen“. Auf gut Deutsch: Im Normalfall beliefert amberSearch ihre Kunden aus ihrer eigenen Installation. Bei spezifischen Anfragen oder hoher Last werden diese einfach über die Open Telekom Cloud erweitert, und zwar nicht nur auf der Ebene einfacher Infrastrukturressourcen (IaaS). Wann kann das nötig werden?

Dazu muss man zunächst wissen, dass amberSearch aus zwei Komponenten besteht. Die originäre Komponente ist das von amberSearch entwickelte Modell für die Suche und die Bewertung von Unternehmensinformationen. Der zweite Teil fungiert als Interface zum Nutzer: Ein LLM nimmt die Anfragen auf und formuliert aus den Suchergebnissen eine Antwort.

„Über den LLM-Serving-Service der Telekom haben wir Zugriff auf den LLM-Pool, der direkt auf der Open Telekom Cloud vorgehalten wird. Wenn unsere Kunden nun erhöhte Sicherheitsbedürfnisse haben, erhalten sie die entsprechenden LLM-Services direkt aus der Open Telekom Cloud – mit der sie ohnehin eine Vereinbarung zur Auftragsdatenverarbeitung geschlossen haben. Als amberSearch haben wir damit auch theoretisch keinerlei Möglichkeit, auf die Daten zuzugreifen“. Das erlaubt dem Nutzer von amberSearch auch erhöhte Anforderungen an Datensouveränität zu erfüllen.

amberSearch zeigt anschaulich das perfekte Zusammenwirken von Cloud und KI. Mit dem LLM-Serving-Service auf Basis der Open Telekom Cloud baut und entwickelt das Unternehmen sein KI-Geschäftsmodell, voll skalierbar und mit adaptiven Kosten. Ein Moment kommt mit der Open Telekom Cloud noch hinzu: „Mit dem LLM-Serving-Service können wir zudem die hohen Sicherheits- und Souveränitätsanforderungen unserer Kunden für deren sensible Daten erfüllen“. Darüber hinaus erhält amberSearch die Chance, mit verschiedenen LLMs zu experimentieren, um dauerhaft die hohe Qualität ihrer KI-Services sicherzustellen. Nicht zuletzt profitiert amberSearch – jenseits von Cloud und bedarfsgerechten LLMs – vom Kunden- und Partnernetzwerk der Telekom.