Das Plädoyer für maßgeschneiderte, souveräne KI im öffentlichen Sektor

Bei deepset spiegelt unsere Open-Source-Arbeit mit Haystack die übergreifenden Veränderungen im Unternehmens- und öffentlichen Sektor wider. Organisationen entfernen sich von Pilotprojekten und vorgefertigten KI-Lösungen und konzentrieren sich vielmehr auf die KI-Orchestrierung für transformative Anwendungsfälle – also die Koordination verschiedener Modelle, Werkzeuge und Systeme in einheitlichen Arbeitsabläufen, die konsistente und nachvollziehbare Ergebnisse liefern. In regulierten Branchen äußert sich dies in maßgeschneiderten, missionsorientierten Systemen und Agenten, die messbare Resultate erzielen und dabei regelkonform sowie robust gegenüber Veränderungen bleiben.

Während Europa bei der Definition souveräner KI-Ökosysteme führend ist, haben wir Haystack entwickelt, um diese Zukunft zu ermöglichen. Nach meinen Erfahrungen können Organisationen so produktionsreife, souveräne und agentische KI-Lösungen für regulierte Umgebungen aufbauen – und Individualisierung ist dabei der Schlüssel, um Vertrauenswürdigkeit und Souveränität verantwortungsvoll zu erreichen.

Die drei Säulen souveräner KI-Systeme

Für Produktverantwortliche ist souveräne KI weder eine politische Haltung noch lediglich ein Compliance-Kriterium, sondern ein Betriebsmodell für Produkte in regulierten Umgebungen. Mit der Einführung agentischer KI muss diese so implementiert werden, dass sie bestehende Arbeitsabläufe optimal unterstützt.

Die drei Säulen souveräner KI sind Anpassungsfähigkeit, flexible Bereitstellung und eine Open-Source-Grundlage. Nach diesen Prinzipien sollte jede KI-Implementierungsstrategie in regulierten Branchen – unabhängig vom Standort – ausgerichtet werden.

●  Anpassungsfähigkeit: KI-Pipelines und -Agenten müssen auf das spezifische Domänenwissen, die Regeln und Governance-Anforderungen einer Organisation oder eines öffentlichen Trägers zugeschnitten werden, um vertrauenswürdig zu sein.

●  Flexible Bereitstellung: Die KI sollte überall betrieben werden können – in der Cloud, auf sicheren lokalen Systemen, hybrid, in einer privaten Cloud oder sogar in isolierten („air-gapped“) Umgebungen.

●  Open-Source-Grundlage: Sie garantiert Transparenz, Prüfbarkeit sowie Unabhängigkeit von einzelnen Anbietern und ermöglicht die Ausführung von Systemen über verschiedene Souveränitätsgrenzen hinweg.

Gemeinsam ermöglichen diese drei Säulen Organisationen, KI-Lösungen zu entwickeln, denen sie vertrauen, die sie kontrollieren und tatsächlich besitzen können – und fördern eine engere Zusammenarbeit von Produktteams, Endanwendern, Sicherheits- und Rechtsverantwortlichen.

Unterscheidungsmerkmale im öffentlichen Sektor

In regulierten Umgebungen gehen mit der Einführung agentischer KI zahlreiche Risiken einher – von Sicherheitsverletzungen und Compliance-Verstößen bis hin zu nicht nachvollziehbaren „Black-Box“-Entscheidungen. Da Organisationen für jede Entscheidung ihrer KI-Agenten und sämtliche sensiblen Daten, die diese Systeme verarbeiten, verantwortlich sind, müssen öffentliche Institutionen von Beginn an Kontrolle, Compliance und Vertrauen in den Mittelpunkt stellen.

Darüber hinaus sollten diese KI-Systeme helfen, innerhalb der Organisation Branchenstandards für ähnliche Arbeitsabläufe zu schaffen, um Prozesse und das Veränderungsmanagement zu unterstützen. Eine einzelne, universelle KI-Lösung funktioniert nicht, wenn KI und ihre Agenten unter unterschiedlichen gesetzlichen Rahmenbedingungen, Datenklassifikationen und Verantwortungsmodellen arbeiten müssen. Wenn eine „One-size-fits-all“-Lösung einfach übernommen wird, beeinträchtigt dies regulierte Arbeitsabläufe und zwingt Mitarbeitende zur Anpassung – mit unklaren Risiken und Verantwortlichkeiten für Daten sowie Entscheidungsfindung. Deshalb ist Individualisierung entscheidend für den Erfolg von KI in regulierten Branchen.

Individualisierung wird häufig als langsam oder teuer wahrgenommen. Mit den richtigen Ebenen und Schichten offener Orchestrierung können Teams jedoch binnen weniger Wochen vom Prototyping über iteratives Testen bis zum produktiven Einsatz gelangen. Orchestrierung ermöglicht es KI-Systemen, sich sicher und schrittweise weiterzuentwickeln, ohne Governance zu vernachlässigen. So werden diese Systeme zu Standards, die von anderen Abteilungen oder Ebenen des öffentlichen Sektors übernommen und den eigenen Bedürfnissen angepasst werden können. Dies bezeichnen Enterprise Architects und Plattform-Teams oft als die Fähigkeit, wiederholbare Architekturen zu standardisieren.

So sehen angepasste, souveräne KI-Systeme aus

Bei der Suche nach souveränen KI-Lösungen weisen erfolgreiche souveräne KI-Systeme folgende Merkmale auf:

1. Kontrolle über Modelle, Daten und Bereitstellung: Modulare Orchestrierung von KI-Pipelines verhindert Anbieterabhängigkeit, integriert sensible Daten sicher und ermöglicht die Bereitstellung in selbst gehosteten Umgebungen.
2. Sicherheitsorientierte Infrastruktur und Nachvollziehbarkeit: Eingebaute Protokollierung, Zugriffskontrollen und Compliance-Bereitschaft unterstützen öffentliches Vertrauen und Transparenz.
3. Mensch-zentriertes Design: Menschen bleiben für Entscheidungen verantwortlich, während KI die sich wiederholende Arbeit automatisiert, das Urteilsvermögen der Mitarbeitenden oder vorhandenes Wissen nicht ersetzt, sondern dieses in die Workflows integriert.
4. Erklärbarkeit und Rückverfolgbarkeit: Jedes Ergebnis muss bei Prüfungen und Governance-Überprüfungen sichtbar und nachvollziehbar sein.

Deshalb gehen Regierungsbehörden über große vorgefertigte KI-Modelle und Einzellösungen hinaus zu produktionsreifen, sicheren Infrastrukturen, die speziell für ihre realen Arbeitsabläufe entwickelt wurden.

Wegen des „Hypes“ um KI-Agenten haben sich Organisationen darauf konzentriert, ein KI-Modell auszuwählen und einzusetzen. Um jedoch vertrauenswürdige KI-Agenten in regulierten Umgebungen zu schaffen, müssen Teams mit der Orchestrierung beginnen. Modelle und Systemdesigns werden sich naturgemäß verändern.

Modulare Orchestrierungsplattformen ermöglichen es Organisationen, Modelle, Domänenlogik und Daten als austauschbare Komponenten innerhalb kontrollierter KI-Pipelines zu integrieren. Diese Pipelines sind mit fein abgestuften Datenkontrollen, Testverfahren für Nutzerfeedback, Prüfpfaden, Identitäts- und Zugriffsmanagement sowie CI/CD-Integration für kontinuierliche Verbesserung und Risikomanagement ausgestattet. Dadurch wird KI Teil der standardmäßigen Softwareentwicklung und -bereitstellung, was es der Architektur ermöglicht, Agentenautonomie zu erlauben und gleichzeitig strikte Compliance sicherzustellen und die Workflows dort abzuholen, wo sie stehen.

Von der Richtlinie zur Praxis mit Haystack: Anwendungsfälle aus der Praxis

Wenn Organisationen unsicher sind, in welchem Umfang maßgeschneiderte KI eingesetzt werden kann, haben wir bei deepset in regulierten, kritischen Umgebungen bewiesen, dass individuelle KI-Orchestrierung als horizontale Managementebene über die Infrastruktur unerlässlich ist. 

So hatten Mitarbeitende des deutschen Bundesministeriums für Forschung, Technologie und Weltraum zuvor Schwierigkeiten, ein 200-seitiges Handbuch zur Regelung von Förderprogrammen zu durchdringen, was zu Verzögerungen und Uneinheitlichkeiten bei nachfolgenden Aufgaben führte. Dies wurde mit einem maßgeschneiderten KI-System auf Basis von Haystack gelöst, das nun geprüfte Antworten auf Mitarbeiteranfragen zum Handbuch innerhalb von drei Sekunden liefert – mit vollständiger Quellennennung. Dadurch wurde die Effizienz gesteigert, ohne auf Compliance, Nachvollziehbarkeit und menschenzentriertes Design zu verzichten.

Im Verteidigungsbereich hat das KITCH-Projekt unter der Leitung von Airbus Defense and Space orchestrierte, RAG-basierte agentische Systeme eingesetzt, um Simulationen und fortschrittliche Tools zu integrieren, die in sich schnell verändernden Situationen die Entscheidungsfindung in Echtzeit unterstützen. Mit diesen Programmen wurden kontextbezogene Erkenntnisse in missionskritischen Umgebungen entwickelt, die schnellere und zuverlässigere Entscheidungen für Führungskräfte ermöglichen.

Auf EU-Ebene hat die Europäische Kommission ihre souveräne KI-Plattform auf Haystack aufgebaut, um den nötigen Grad an Anpassung für unterschiedliche Abteilungen zu ermöglichen, während sie zugleich Kontrolle über Infrastruktur und Architektur behält, die den geltenden Standards entspricht, und ein Ökosystem für Innovation und Wiederverwendbarkeit schafft.

Auf dem Weg zu einer KI-integrierten Zukunft im öffentlichen Sektor

Regulierte Branchen haben eigene Anforderungen an agentische KI. Sie müssen ihre KI steuern, auditieren, anpassen und ihr vertrauen können – generische Lösungen reichen hier nie aus. Souveräne Systeme, die mit Blick auf Produktionsreife gebaut werden, werden die nächste Welle der KI-Adoption im öffentlichen Sektor prägen.

Im Zentrum dieses Wandels steht die KI-Orchestrierung. Souveräne KI entsteht nicht durch die Auswahl des „richtigen“ Modells, sondern durch die Gestaltung des passenden Kontexts mittels eines widerstandsfähigen, orchestrierten Systems. Während KI an diesen Arbeitsplätzen weiterentwickelt wird, kommt echte Transformation in regulierten Umfeldern von Plattformen, die Agentenautonomie mit Kontrolle, Compliance, Nachvollziehbarkeit und menschlicher Verantwortlichkeit verbinden. Das ist die Zukunft von verantwortungsvoller, souveräner KI – und die Chance für öffentliche Institutionen, die bereit sind, die Zukunft ihrer Arbeitsabläufe gezielt zu gestalten.

Bleiben Sie informiert

Vergessen Sie nicht, unseren Newsletter zu abonnieren, um weitere Ressourcen und Anleitungen für Produktverantwortliche sowie aktuelle Podcasts, Interviews und weitere Einblicke von Branchenführern und Experten zu erhalten.