KI-Agenten: Wer haftet, wenn der Algorithmus irrt

trend: KI-Agenten verbreiten sich rasant und übernehmen Aufgaben von Mitarbeitenden. Haften Unternehmen für deren Arbeitsergebnisse, wie für die der menschlichen Kolleg:innen?

Riede: Im Kern ist das so. Unternehmen, die KI-Agenten einsetzen, werden grundsätzlich auch für deren Ergebnisse und für Schäden haften, die durch die Tätigkeiten verursacht werden. Das ist der Haftung für Mitarbeiter nicht unähnlich. In der Praxis gibt es dazu aber noch große Fragezeichen. KI-Agenten haben nun mal keine Rechtspersönlichkeit und können nicht wie Menschen eine Willenserklärung abgeben. Das System der Verschuldenshaftung ist zudem auf den Ersatz vorhersehbarer Schäden zugeschnitten. Bei KI-Agenten, die weitgehend autonom agieren, könnte dies ein Knackpunkt sein.

KI-Agenten einfach als eine Art intelligentere Maschinen zu klassifizieren, greift zu kurz?

Ein Getränkeautomat führt zwar auch autonom Transaktionen aus, nimmt Geld entgegen und händigt ein Produkt aus. KI-Agenten handeln aber viel selbständiger – sie agieren anhand von Zielvorgaben und können selbst entscheiden, wie sie die zur Zielerreichung notwendigen Schritte ausführen, unter anderem indem sie Systeme, Applikationen und Datenbanken von Dritten ansteuern. Diese Möglichkeiten potenzieren sich, wenn KI-Agenten etwa mit anderen „fremden“ Agenten außerhalb des eigenen Unternehmens kommunizieren und „etwas ausverhandeln“.

Um Produktionsroboter in der Industrie werden Sicherheitskäfige errichtet, um Schaden zu minimieren. Welche „Käfige“ müssen Unternehmen um ihre KI-Agenten ziehen?

Ein Aspekt ist, den Agenten keinen uneingeschränkten Spielraum zu geben. Unternehmen sind gut beraten, hier risikobasiert vorzugehen und vor allem bei Use-Cases, die riskanter sind (also dort, wo kommerziell wichtige Transaktionen getätigt werden, oder Leistungen an Kunden erbracht werden) Vorsicht walten zu lassen. Hier kann man technisch und organisatorisch dafür sorgen, dass der KI-Agent erstmal in einem überschaubaren „Käfig“ operiert. Es muss Limits geben, wie etwa Höchstgrenzen für Transaktionen oder eine Blacklist für besonders heikle Dinge, die man lieber nicht den Agenten überlassen sollte. Ein zweiter Punkt ist die menschliche Aufsicht. Das Prinzip „Human in the loop“ ist bei agentischer KI noch wichtiger als bei klassischer KI. Wenn der KI-Agent, weil er einen tollen Rabatt entdeckt hat, eine LKW-Ladung Kopierpapier bestellt, können Sie das schwerlich als Irrtum geltend machen. Da kommt das Zivilrecht an seine Grenzen. Bei agentischer KI sollte die Governance also bullet proof sein, um das Risiko entsprechend einzugrenzen.

Welche Rechtsmaterien sind bei KI-Agenten – neben dem Zivilrecht – noch im Auge zu behalten? Greifen Agenten für ihre Arbeit auf Kundendatenbanken zu, ist das Datenschutzrecht schnell gestreift.

Das ist es tatsächlich. Sie müssen auch darauf achten, dass KI-Agenten im Rahmen ihrer Entscheidungen nicht etwa personenbezogene Daten ohne rechtliche Basis in Drittländer schicken oder vertrauliche Geschäftsgeheimnisse preisgeben. Welche Rechte KI-Agenten verletzen können, hängt natürlich von ihren Aufgaben, dem Einsatzzweck ab: Bei KI-Agenten in der Marketingabteilung, die etwa Designs, Skizzen oder andere kreative Erzeugnisse produzieren, ist auch zu beachten, dass KI-generierte Inhalte in der Regel nicht schutzfähig sind – jedoch durchaus Rechte Dritter verletzen können. Auch hier gilt es, aufzupassen.

In welchem Rahmen haften die KI-Anbieter eigentlich für ihre KI-Agenten?

Als Daumenregel kann man zwar sagen, dass derjenige, der sich eines KI-Agenten bedient, auch für dadurch verursachte Schäden haftet. Allerdings liegt hier der Teufel im Detail – agentische Systeme sind oft zusammengesetzt aus verschiedenen Tools und Services, und welcher Anbieter für was einzustehen hat, lässt sich nicht pauschal sagen – und hängt auch von den vertraglichen Regelungen ab. 

Verträge sind ein guter Punkt: Kann ich mich als europäisches Unternehmen denn auf die „Terms & Conditions“ verlassen oder muss ich für agentische KI besonders genau prüfen?

Der Markt im Bereich agentische KI ist im Fluss und im Entstehen, da gibt es noch keine Standards. Unternehmen sind gut beraten, sich die AGB genau anzusehen und bei wichtigen Tools zu versuchen nachzuverhandeln.

Passiert das in der Praxis tatsächlich? In vielen Unternehmen ist es doch so, dass Mitarbeitende oder Fachabteilungen Produkte einfach installieren, und den Dienstweg damit ignorieren.

Wir sehen dieses Dilemma in der Beratung durchaus: Klassische KI wird oft freihändig eingesetzt, und wir sehen das auch bei KI-Agenten, denn es ist verführerisch, ein neues Tool zu nutzen, das leicht verfügbar ist. Umso mehr müssen die Policies und Richtlinien permanent nachgezogen werden, weil das Risikoprofil bei der agentischen KI durch die starke Unabhängigkeit und Multifähigkeit höher ist.

Am 2. August tritt die nächste Stufe des europäischen AI Acts in Kraft: Sind die Agenten hier bereits abgebildet?

Im Kern sind KI-Agenten durchaus als „KI-Systeme“ erfasst, aber der AI Act ist nicht spezifisch auf solche Systeme zugeschnitten. Im risikobasierten System des AI Acts kann agentische KI harmlos und weitgehend unreguliert sein, kann aber auch in Hochrisikoszenarien fallen, was etwa im HR-Bereich rasch der Fall sein kann. Wenn der Agent für eine Leistungsbewertung Outlook-Kalender und Krankenstandstage hernimmt, ist das bereits eine Verarbeitung von Gesundheitsdaten. Wichtig zu beachten sind die ab 2. August geltenden Transparenzvorschriften. Für Nutzer:innen muss leicht erkennbar ausgewiesen werden, dass eine KI am Werk ist. Dieses Thema ist bei KI-Agenten sehr relevant, denn anders als beim Chatbot werden Nutzer:innen KI-Agenten unter Umständen nicht leicht als solche erkennen.

Gibt es Rechtsprechung zu KI-Agenten, erste richtungsweisende Entscheidungen?

Einschlägige Rechtsprechung in Europa zu KI-Agenten ist mir noch nicht bekannt. In den USA gibt es aber bereits Gerichtsentscheidungen, wonach Unternehmen grundsätzlich für Fehler der von ihnen eingesetzten KI einstehen müssen. Air Canada wurde verurteilt, weil ein Chatbot Kunden irrtümlich Rabatte zugesichert hatte, und Amazon musste sich fehlerhafte Preisreduktionen zurechnen lassen. Diese Entscheidungen deuten die Richtung an, in die es auch im Bereich agentischer KI gehen könnte. Bei Agenten wird das auf jeden Fall brisanter, denn die Technologie wird schwerer beherrschbar sein.

In welchen Branchen beraten Sie heute schon bei Projekten mit agentischer KI?

Die Kunden kommen aus allen Branchen und Kontexten. Agentische KI ist bereits Realität. Positiv nehmen wir wahr, dass viele Unternehmen mittlerweile ein auf KI zugeschnittenes Risikomanagement aufgesetzt haben, und sich mit der internen wie auch der produktbezogenen Compliance auskennen. Wichtig ist die holistische Sicht auf die KI-Agenten und das Zusammenspiel der Fachabteilungen mit der Rechtsabteilung. Viele Unternehmen haben mittlerweile spezifische KI-Gremien und eine differenzierte Governance etabliert.

Und mit welchen Sprachmodellen arbeiten Sie eigentlich in der Kanzlei?

KI ist natürlich auch bei uns ein Riesenthema. Wir haben aktuell Kooperationen mit Google und Anthropic laufen, und haben unser eigenes Lab, in dem wir sichere und verlässliche KI-Tools entwickeln, die mehr können als nur Antworten geben. Im Legal Workflow gibt es interessante Anwendungsbereiche. Wir schauen uns im Wochentakt neue Modelle an und testen, was geeignet ist.