Sandra Wachter: "Rassistische und sexistische Algorithmen"

trend: Manche glauben, dass künstliche Intelligenz (KI) bald intelligenter ist als der Mensch selbst. Können Sie dieser Einschätzung etwas abgewinnen?
Sandra Wachter: Es ist ziemlich weit hergeholt, hier von wirklicher Intelligenz zu sprechen. Wenn wir von KI, Machine Learning oder Algorithmen reden, reden wir im wesentlichen über Computerprogramme, die sich in zwei Gruppen unterteilen. Die einen folgen einem vorgeschriebenen Muster. Wenn man ihnen zum Beispiel sagt, sie sollen unter allen Bewerbern jene heraussuchen, die Biochemie studiert haben, dann können sie das. Die anderen sind sogenannte selbstlernende Systeme. Man gibt ihnen eine Aufgabe, und sie suchen die beste Lösung. Sie greifen dann zum Beispiel auf alle verfügbaren Daten zurück, finden Korrelationen und Querverbindungen und sagen, wer der beste Bewerber für einen bestimmten Job ist. Das ist spannend, aber eben auch problematisch.

Warum?
Wachter: Weil wir nicht immer genau verstehen, was sie da tun, warum der Algorithmus eben eine bestimmte Person ausgewählt hat.

Also ist er doch intelligenter als der Mensch?
Wachter: Er kann vielleicht Gemeinsamkeiten in den Datensätzen erkennen, auf die Menschen nicht so schnell kommen. Aber die Technologie ist dann eben nur in dieser einen Fähigkeit besser, sie ersetzt nicht gleich den ganzen Menschen. Algorithmen sollten deshalb auch vor allem dazu eingesetzt werden, menschliche Fähigkeiten zu verbessern.

Gerade wenn es um Roboter, um Automatisierungen geht, werden sehr wohl Menschen ersetzt, oder?
Wachter: Und genau darüber sollten wir uns sehr viel mehr Gedanken machen als darüber, ob in der Zukunft wirklich Cyborgs, Mischwesen aus Mensch und Maschine, auf der Welt herumlaufen, die auch ein eigenes Bewusstsein entwickeln. Ich halte das für nicht möglich. All diese Gedankenspiele lenken von den aktuellen, wichtigen Fragen ab. Die Sorge, dass die Automatisierung vielen Menschen die Jobs nimmt, ist schließlich legitim. Wir müssen als Gesellschaft eine Antwort darauf finden, wie wir Menschen darauf vorbereiten und ihnen mehr Fähigkeiten für die Zukunft mitgeben. Das ist eine wichtige Frage.

Und die andere?
Wachter: Wie gehen wir damit um, dass Algorithmen eben oft nicht erklärbar und nachvollziehbar sind, dass sie mitunter rassistisch, sexistisch und anderwärtig diskriminieren? Das ist auch jetzt schon eine absolut relevante Frage, weil sie über Leben entscheiden kann.

Zum Beispiel darüber, ob ich einen Job oder einen Kredit bekomme. Es ist für viele Menschen ein seltsames Gefühl, dass ein Algorithmus, der sie noch nie gesehen hat, über sie urteilt.
Wachter: Umgekehrt kann man sich natürlich fragen, ob menschliche Bewertungen immer so großartig sind. Ein Algorithmus hat zum Beispiel keinen schlechten Tag, keine Stimmungsschwankungen. Allerdings kann man sich mit KI andere Probleme holen: Da der Algorithmus mit historischen Daten gefüttert ist, kann er alte Muster fortsetzen. Deshalb kann es zum Beispiel sein, dass alte, weiße Männer von Algorithmen bei der Jobvergabe bevorzugt werden, da diese auch oft in der Vergangenheit bevorzugt wurden.

Wie lässt sich das lösen?
Wachter: Wichtig wäre es, Algorithmen sehr intensiv zu testen, um herauszufinden, in welche Richtung sie ausschlagen. So kann man sie verbessern. Insgesamt sollten wir aber Technologie immer mit menschlicher Expertise kombinieren. Der Algorithmus kann Menschen auf etwas hinweisen, das sie so nicht gefunden hätten. Das sollte seine Aufgabe sein.

Mich wird in Zukunft also doch kein Roboter untersuchen?
Wachter: Medizin und Pflege zählen ganz sicher zu den vielversprechenden Einsatzfeldern von KI. Allerdings soll sie keine Menschen ersetzen, sondern eine neue Methode in der Diagnostik beisteuern, so wie früher das Röntgengerät. Vielleicht erkennt die KI etwas, das der Arzt übersehen hat oder schlicht nicht wissen konnte, weil ihm die Vergleichsdaten fehlten. Vielleicht schlägt die KI aber auch eine Therapie vor, von der die Ärztin, die ihren Patienten seit Jahren kennt, weiß, dass sie bei ihm nicht funktioniert. Dann muss sie sich für etwas anderes entscheiden.

Gegen den Computer entscheiden und in Zukunft dann vielleicht sogar geklagt werden? Wie sollen wir das schaffen?
Wachter: Wir müssen sicherstellen, dass Menschen das letzte Wort haben. Sie müssen die Freiheit haben, sich gegen die Maschine zu entscheiden. Bei jeder Technologie ist Skepsis angebracht, nichts darf man blind übernehmen. Es muss uns auch klar sein, dass wir bestimmte Fähigkeiten verlieren oder nicht mehr ausreichend trainieren, wenn wir sie an die Technologie abgeben. Deshalb ist es wichtig, dass etwa Ärzte auf die ihnen angebotenen Technologien vertrauen können, aber weiterhin ihre Autonomie behalten und auch einfordern.

Die EU hat vor wenigen Wochen eine ethische Checkliste veröffentlicht. Wenn man sie erfüllt, soll das zu vertrauenswürdiger KI führen. Haben wir das Problem jetzt gelöst?
Wachter: Es ist grundsätzlich positiv, dass Politik, Wissenschaft und Industrie sich nun wirklich Gedanken darüber machen. Das war bis vor ein paar Jahren noch nicht so. Aber wir stehen erst am Anfang, um vernünftige Regeln für solch komplexe Systeme zu finden. Gegen die in der Checkliste genannten Prinzipien Fairness und Privatheit kann niemand etwas sagen, aber mir fehlt hier der Bezug zur Praxis. Was soll ein Ingenieur aufgrund dieser Richtlinien am Montag nun anders machen? Die Richtlinien sind auch rechtlich nicht verbindlich. Wir sollten überlegen, in welchen Bereichen das aber sehr wohl sinnvoll wäre.

Wo wäre das für Sie der Fall?
Wachter: Überall dort, wo Menschenrechte potenziell eingeschränkt werden könnten. Da sollten wir sehr gut aufpassen, dass unsere Grundrechte ausreichend geschützt sind.

Dem Bewerbungsalgorithmus bei Amazon wurde nachgewiesen, dass er Frauen benachteiligt. Könnte man das zum Beispiel mit einer Anti-Diskriminierungs-Klage angehen?
Wachter: In der analogen Welt lässt sich Diskriminierung leichter nachweisen, in der KI-Welt wird es schwieriger, weil sie oft indirekt und unbewusst erfolgt. Wenn der Algorithmus vorschreibt, dass nach Bewerbern gesucht wird, die größer als 1,80 Meter sind, dann diskriminiert das Frauen nicht auf den ersten Blick, sondern nur indirekt. Bei Größe wissen wir, dass Frauen benachteiligt werden könnten. Aber wie steht es bei Daten wie Internetsuchverläufe, Eyetracking oder Klickverhalten? Um solche indirekten Fälle nachweisen zu können, müssten wir sehr viel mehr Transparenz und Tests haben.

Die uns Unternehmen nur bedingt geben möchten ...
Wachter: Wir sollten auch ein großes Interesse daran haben, zu wissen, ob uns aufgrund unserer Postleitzahl oder unserer Computer-Marke andere Preise angeboten werden, ob wir vielleicht sogar gewisse Produkte überhaupt nicht mehr angeboten bekommen. Das Potenzial für Diskriminierung ist groß, ohne dass wir sie notwendigerweise mitbekommen. Firmen wissen allerdings auch oft nicht, wo in ihren Daten Diskriminierungen vorgenommen werden.

Wirklich?
Wachter: Es fehlt oft am Wissen, was unsere Daten eigentlich aussagen. Wenn man hypothetisch feststellen würde, dass Leute, die Hunde haben, historisch gesehen ihre Darlehen pünktlich zurückzahlen, könnte eine Bank in Zukunft vielleicht nur noch Leuten, die Hunden haben, ein Darlehen geben. Das ist per se nicht diskriminierend. Es kann sich aber herausstellen, dass es ähnlich wie in Großbritannien ist: Wer einen Hund hat, hat oftmals auch ein Haus, weil Hunde in den meisten Wohnungen nicht erlaubt sind. Es kann also sein, dass es sich bei Hundebesitzern oft um reiche Leute handelt. Diese Information ist wichtig für die Bank, damit sie dann nicht unbewusst und unabsichtlich diskriminierend handelt.

Was bedeutet das für Gesetzgeber?
Wachter: Dass es nicht leicht wird. Manches Mal kann es sinnvoll sein, die Postleitzahl als ein Kriterium für einen Algorithmus zuzulassen. Wenn sich dahinter aber verbirgt, dass man ganze ethnische Gruppen, die an bestimmten Orten häufiger anzutreffen sind, ausschließt, ist das problematisch.

Ein anderer Vorschlag von Ihnen lautet, dass man ein Recht auf Erklärung haben soll, um zu erfahren, warum der Algorithmus entschieden hat, wie er eben entschieden hat.
Wachter: Wenn eine künstliche Intelligenz der Meinung ist, die Polizei soll mich vorsichtshalber verhaften, dann muss ich ein Recht darauf haben, dass mir das erklärt wird. Ich muss verstehen können, warum ich ein Darlehen oder einen Job nicht bekommen habe. Vielleicht habe ich zu viele Rechtschreibfehler gemacht? Vielleicht habe ich ein wichtiges Entscheidungskriterium nicht erfüllt? Wir wollen den entscheidenden Teil verstehen, nicht, wie der Algorithmus insgesamt funktioniert.

Das wäre eine Art Kompromiss: Unternehmen müssen nicht ihren ganzen Algorithmus transparent und somit nachbildbar machen, sondern nur das entscheidende Kriterium. Wird das schon umgesetzt?
Wachter: Google hat meine Arbeit zu dieser sogenannten "Counterfactual Explanation" bereits vor wenigen Monaten in ihren TensorFlow-Framework eingebaut, ihrer frei zugängigen Machine-Learning-Plattform. Man kann dort online mit den Algorithmen herumspielen und so sofort ein besseres Gefühl dafür bekommen, wie man die Variablen verändern muss, um den gewünschten Ausgang zu bekommen.

Google hatte ein Ethik-Gremium bestellt, mittlerweile aber wieder entlassen. Facebook hat gerade ein Institut für Ethik bei künstlicher Intelligenz in München gestiftet. Wie glaubwürdig sind diese Maßnahmen von Unternehmen, die so viele Daten wie wenige andere über uns sammeln?
Wachter: Es ist nun viel mehr Unternehmen klar, dass der Umgang mit Daten erhebliche Konsequenzen für einzelne Menschen haben kann. Das war vielen lange nicht klar. Erstens hat man die unmittelbare Auswirkung nicht mitbekommen, man hat also nicht gesehen, dass jemand plötzlich keinen Kredit, keine Versicherung mehr bekommt. Und zweitens überblicken viele Entwickler immer nur einen Teil des Algorithmus. Heute muss jedem bewusst sein, dass Code, dass Programmieren wirklich Menschenleben beeinträchtigen kann.

Reicht hier die Sensibilisierung?
Wachter: Firmen wollen zunehmend zeigen, dass sie ethisch agieren, weil sie wissen, dass Ethik und Regulierung ihren Erfolg nicht mindern, sondern sogar steigern können. Wir wissen aus Studien, dass Kunden sich abwenden, wenn sie das Gefühl haben, dass Firmen es nicht ernst meinen.

Das geht nur dann, wenn man als Konsument eine Alternative hat, was aber bei Google und Facebook schwierig ist. Was muss passieren, damit wir mehr auf unsere Rechte an unseren Daten pochen?
Wachter: Medien leisten hier einen wichtigen Beitrag, weil wir eben oft nicht mitbekommen, wie Daten gesammelt werden. Im analogen Leben würden wir bemerken, wenn jemand hinter uns hergeht und jeden Schritt, jedes Telefonat, jeden Einkauf notiert. Zur Online-Überwachung fehlt aber jeder unmittelbare Bezug. Und man unterschätzt, wie viel ein einzelnes, an einen Freund geschicktes Bild über uns schon aussagt, weil so viel daraus abgeleitet werden kann. Uns fehlt jeder Bezug dazu, ob es eine Auswirkung hat, dass ich Kaffee trinke oder Laufen gehe. Es muss bei allen ankommen, dass keine Information von uns neutral ist. Deswegen setze ich mich für ein "Right to Reasonable Inferences" ein, also ein Recht, von Algorithmen vernünftig, fair, und ethisch bewertet zu werden.

Hilft die Datenschutzverordnung der EU?
Wachter: Sie ist ein gewaltiger Schritt, und sie wird bereits nachgeahmt in anderen Ländern. Es ist großartig, dass das gelungen ist, und es ist eine Chance für die EU, bei der Regulierung in diesem Bereich Standards zu setzen.