„Es muss nicht immer KI sein“: Carla Hustedt warnt Behörden vor Software, die sie nicht verstehen

Weltweit wollen Staaten und Behörden bei der Digitalisierung aufholen – und setzen dabei verstärkt auf Künstliche Intelligenz. Das geht allerdings nicht immer gut. Wolfgang Kerler von 1E9 hat mit Carla Hustedt darüber gesprochen, was Behörden beim Einsatz von KI beachten sollten.

Das Interview ist zuerst bei 1E9 erschienen. Die 1E9 Denkfabrik ist eine Community von Zukunftsoptimisten, die mit neuen Technologien und Ideen die Welt gestalten wollen. 1E9 inspiriert und informiert, vernetzt und verbindet mit einem digitalen Magazin, Podcasts, Videos, einer Community-Plattform und Events.

Wolfgang Kerler: Die ganze Welt redet über Künstliche Intelligenz, aber in eurem Projekt sprecht ihr meistens nur von Algorithmen und automatisierten Entscheidungssystemen. Warum eigentlich?

Carla Hustedt: Viele Tech-Unternehmen sind sehr gut darin, ihre Produkte zu vermarkten. Dabei hilft ihnen auch der Begriff der Künstlichen Intelligenz. Manchmal habe ich das Gefühl, dass sogar die Warnungen vor den Risiken von KI als Verkaufsargument genutzt werden. Wenn wir Angst haben müssen vor der Superintelligenz, dann müssen die Produkte mit KI ja wirklich krass sein! Über die Singularität, also der Zeitpunkt, an dem KI die menschliche Intelligenz übertrifft, wird nicht durch Zufall vor allem im Silicon Valley gesprochen. Dabei bezweifeln viele Forscher:innen, dass es jemals zu diesem Punkt kommen wird.

Wir vermeiden den Begriff KI jedenfalls aus zwei Gründen. Zum einen, weil wir der Meinung sind, dass nicht die technische Komplexität, sondern die gesellschaftliche Wirkung, die ein System hat, darüber entscheiden sollte, wie viel Aufmerksamkeit wir dem Anwendungsbereich schenken. Es gibt auch Fälle, in denen ganz einfache algorithmische Systeme großen Schaden anrichten, bei denen es sich nicht um Künstliche Intelligenz handelt.

Punkt zwei ist, dass der Begriff Künstliche Intelligenz eben auch deshalb problematisch ist, weil er ein falsches Verständnis vermittelt, was diese Systeme können. Sie werden leicht überschätzt. Gleichzeitig verschleiert der Begriff die menschliche Verantwortung, die dahintersteckt. Denn er suggeriert, es würde sich um ein intelligentes und autonom handelndes Wesen handeln – was ja nicht der Fall ist.

Wolfgang Kerler: Die Fortschritte, die bei der Entwicklung von KI in den vergangenen Jahren gemacht wurden, basieren fast alle auf maschinellem Lernen. Was hältst du davon?

Carla Hustedt: Systeme maschinellen Lernens sind dann sinnvoll, wenn man sehr, sehr große Datenmengen hat, in denen zum Beispiel Muster erkannt werden sollen. Da käme man nicht weit, wenn man selbst alle Regeln vorgibt, anhand derer die Algorithmen zu Ergebnissen kommen können. Unglaubliche Chancen gibt es daher etwa in der Medizin, wo beispielsweise präzisere Diagnosen auf Röntgenbildern oder stärker personalisierte Behandlungsmethoden möglich werden.

Die Herausforderung ist allerdings, dass wir beim maschinellen Lernen eben nicht immer verstehen, wie die Systeme funktionieren, weil sie sich selbst trainiert haben. Auch Personen, die diese Systeme entwickelt haben, können das nicht mehr komplett nachvollziehen. Das mag bei einigen kommerziellen Anwendungen kein Problem sein, wenn Fehler keine großen Auswirkungen auf das Leben von Menschen haben. Doch oft können von Algorithmen getroffene Entscheidungen gravierende Folgen für Menschen haben. Dann muss man natürlich verstehen können, wie dieser Fehler zustande gekommen ist, um ihn korrigieren zu können.

Wolfgang Kerler: Dass KI-Systeme nicht immer so funktionieren, wie es sich die Menschen, die sie einsetzen vorgestellt haben, haben wir in den vergangenen Jahren immer wieder mitbekommen: Gesichtserkennungssysteme, die insbesondere schwarze Menschen falsch identifizieren, Fahrassistenzsysteme, die Hindernisse übersehen, oder Programme, die die Bewerbungen von Frauen systematisch aussortieren. Auch in eurer Arbeit geht es viel um diese Fehler, vor allem aber bei algorithmischen Systemen, die vom Staat eingesetzt werden. Warum?

Carla Hustedt: Staatliche Anwendungsbereiche betreffen das Leben von Menschen meistens unmittelbar. Im privatwirtschaftlichen Bereich ist es ärgerlich, wenn mir Werbeanzeigen angezeigt werden, die diskriminierend sind, oder eine Fitness-App algorithmische Systeme nutzt, die für manche Menschen besser funktionieren als für andere. Aber ich bin nicht grundsätzlich gezwungen, diese Systeme zu nutzen.

Wenn aber der Staat zur Verteilung von Sozialleistungen oder zur Benotung von Schüler:innen, wie es gerade in Großbritannien der Fall war, solche Systeme einsetzt, dann können sich Menschen, die davon betroffen sind, dem nicht entziehen. Genau deshalb schauen wir uns sehr häufig staatliche Einsatzgebiete an. Dort sollen zwar meistens positive Ziele erreicht werden. Aber gut gemeint ist nicht immer gut gemacht.

Wolfgang Kerler: In Großbritannien fielen Schulnoten, die durch Algorithmen ermittelt wurden, zu schlecht aus. In den USA sorgten Gesichtserkennungssysteme für die Verhaftung unschuldiger Personen. In Australien sorgte ein Algorithmus dafür, dass der Staat ungerechtfertigt Sozialhilfe zurückforderte. Warum passieren Behörden solche Pannen?

Carla Hustedt: Eine Ursache ist aus meiner Sicht, dass Software eingekauft wird, weil man glaubt, damit ein komplexes soziales Problem wie Straftaten effizienter lösen zu können. Wegen dieser Effizienzhoffnung, der gleichzeitigen Überschätzung der Technologie und der Unterschätzung der gesellschaftlichen Komplexität wird Software ohne die Maßnahmen eingesetzt, die es zusätzlich bräuchte. Dazu gehört vor allem ein Kompetenzaufbau bei den Personen, die das System einsetzen – in Schulen, bei der Polizei, in Sozialbehörden. Häufig ist es sogar so, dass Software eingesetzt wird, um parallel Stellen zu streichen oder zumindest keine zusätzlichen mehr zu schaffen, weil man ja schon Geld für die Software ausgegeben hat.

Wolfgang Kerler: Was sind denn aus deiner Sicht die Voraussetzungen dafür, dass du einem KI-System – beziehungsweise einem auf maschinellem Lernen basierenden System – vertraust, das vom Staat eingesetzt wird?

Carla Hustedt: Auf der Ebene der Organisationen und Personen, die ein System entwickeln oder einsetzen, ist für mich wichtig, dass das System inklusiv ist. Von dem Moment an, an dem man darüber nachdenkt, ein solches System zu verwenden, sollten die Personen, die es nutzen, und die, die davon betroffen sind, eingebunden werden. So läuft man nicht Gefahr, dass ethische Entscheidungen oder wertebezogene Prioritätensetzungen durch Informatiker:innen getroffen werden müssen, die sich dieser Tatsache vielleicht nicht einmal bewusst sind. Außerdem muss sichergestellt werden, dass die Daten, die zum Training des Systems verwendet werden, repräsentativ sind – also die Diversität der Gesellschaft widerspiegeln.

Selbst dann werden die Systeme immer wieder Fehler machen. So wie Menschen immer wieder Fehler machen. Natürlich sollten sie, soweit es geht, vermieden werden. Doch es müssen auch Wege gefunden werden, mit Fehlern umzugehen. Das heißt beispielsweise, dass Prüfungen durch unabhängige Prüfstellen erlaubt sein müssen. Zumindest, wenn es um Systeme geht, die über Teilhabe von Menschen entscheiden.

Außerdem muss man es den betroffenen Individuen sehr leicht machen, zu erkennen, dass sie möglicherweise ungerecht behandelt wurden. Sie müssen erfahren, dass ein Algorithmus entschieden hat. Und man muss – soweit das möglich ist – erklären, wie die Entscheidung zustande gekommen ist. Zum Beispiel, indem man sagt, welche Daten genutzt wurden und für die Entscheidung den Ausschlag gaben. Nur so können die Betroffenen Fehler identifizieren. Natürlich braucht es dann auch einfache Beschwerdemechanismen. Gemeinsam mit dem iRights.Lab haben wir im Projekt „Ethik der Algorithmen“ eine Handreichung für die digitale Verwaltung entwickelt, die anhand konkreter Fallbeispiele erklärt, wie solche Forderungen umgesetzt werden können.

Auf der politischen Ebene ist es wichtig, dass bestehende Kontrollbehörden, die es oft schon gibt, zum Beispiel im Medizinbereich oder beim Datenschutz, in ihren Kompetenzen gestärkt werden und bei Bedarf Zugriff auf den Code und die Daten bekommen. Außerdem muss die Zivilgesellschaft gestärkt werden, um auch eine Aufsicht und eine kritische Debatte zu ermöglichen.

Wolfgang Kerler: Muss es eigentlich immer gleich KI sein?

Carla Hustedt: Ganz klar, es muss nicht immer KI sein. In vielen Anwendungsfällen geht es auch einfacher. Ein Beispiel dafür stammt aus Deutschland, aus Nordrhein-Westfalen. Dort wollten die Polizeibehörden als eine der ersten in Deutschland eine Predictive-Policing-Software einsetzen, die prognostizieren soll, wo mit besonders hoher Wahrscheinlichkeit Straftaten passieren werden.

Nun kann man solche Software grundsätzlich skeptisch sehen, weil es sehr wenig Evidenz gibt, dass sie tatsächlich funktioniert. Aber wie in NRW vorgegangen wurde, war sehr vorbildlich. Die Behörden haben eng mit der Wissenschaft zusammengearbeitet und ein komplexes KI-System, das auf maschinellem Lernen basierte, und ein einfaches, regelbasiertes System verglichen. Da das einfache System nicht viel schlechter abschnitt, haben sie sich dafür entschieden – mit der Begründung, dass sie genau nachvollziehen könnten, wie es funktioniert.

Zum Schluss würde ich außerdem gerne über ein Thema sprechen, das nicht wirklich spannend klingt, aber einen riesigen Wirkungshebel darstellt.

Wolfgang Kerler: Und das wäre?

Carla Hustedt: Die öffentliche Beschaffung. Wenn sich Behörden ein System einkaufen, dessen Funktionsweise sie überhaupt nicht verstehen, bleiben sie komplett abhängig von weiteren Leistungen dieses Anbieters. Dadurch gefährden sie ihre Handlungsfreiheit und es können enorme zusätzliche Kosten entstehen. Manchmal wäre es dann wahrscheinlich günstiger, einfach ein paar Menschen mehr einzustellen. Daran wird aber zu selten gedacht.