Sprachassistenzsysteme wie Amazons Alexa und Apples Siri stellen für viele Menschen eine Erleichterung im Alltag dar. In rund einer Milliarde Haushalten weltweit finden sich Lautsprecher mit den integrierten digitalen Helfern. Doch im Februar 2017 machten die Geräte negative Schlagzeilen, weil sie auf sexistische Beschimpfungen geschmeichelt reagierten. Auf die Beleidigung „Du bist eine Schlampe“ antwortete Siri beispielsweise mit „Ich würde erröten, wenn ich könnte“, Alexa mit „Danke für das Feedback“. Das durch eine Recherche des amerikanischen Medienportals Quartz aufgedeckte Problem löste eine Diskussion darüber aus, wie digitale Technologien diskriminierende Vorurteile reproduzieren und Machtstrukturen verfestigen können. Eine Petition mit über 17.000 Unterschriften forderte, die Systeme so umzuprogrammieren, dass sie sich gegen sexuelle Belästigungen wehren.
Algorithmische Systeme, wie sie auch hinter Alexa und Co stecken, finden mittlerweile in allen Gesellschaftsbereichen Anwendung. Sie suchen uns im Navigationsgerät die kürzeste Route aus, unterstützen Personalabteilungen bei der Bewerber*innenauswahl, Ärzt*innen bei der Diagnose und sagen Polizist*innen, wo sich zukünftig Verbrechen ereignen könnten. Sie können uns helfen, effizientere, konsistentere und auch fairere Entscheidungen zu treffen. Doch um ihre Chancen für das Gemeinwohl zu nutzen, dürfen wir der Technologie nicht blind vertrauen. Wir müssen uns unserer Gestaltungsverantwortung bewusstwerden und die sozio-ökonomischen Strukturen verstehen, in denen algorithmische Systeme entwickelt und eingesetzt werden. Eine Herausforderung, die wir nur gemeinsam im breiten Diskus meistern können.
Dieser Beitrag ist daher ein Plädoyer für die Annäherung unterschiedlicher Perspektiven, die viel voneinander lernen können: Er ist ein Auftrag für Feminist*innen, Frauen- und Bürgerrechtler*innen und alle Personen, die sich traditionell mit Fragen von Macht, Emanzipation und Gleichberechtigung beschäftigen, sich mit den gesellschaftlichen Auswirkungen algorithmischer Systeme auseinander zu setzen und damit die Diskussionen nicht alleinig den Tech-Konzernen zu überlassen. Denn: Wer über die Entwicklung und den Einsatz von Algorithmen entscheidet, entschiedet über soziale Teilhabe und kann so die Weichen für eine Welt stellen, in der wir zukünftig leben wollen.
Unsichtbarkeit marginalisierter Gruppen und die Spirale der Diskriminierung
Als Joy Buolamwini 2018 die Qualität von Gesichtserkennungs-Software untersucht, muss die Informatikerin feststellen, dass ihr eigenes Gesicht in den meisten Fällen nicht korrekt identifiziert wird. Buolamwini, die als Forscherin am MIT Media Lab in Cambridge arbeitet, fragt sich, ob sich das Problem durch spezielle Eigenschaften ihres eigenen Gesichts erklären lässt, oder ob sie einem grundlegenderen Phänomen auf die Spur gekommen ist. Um der Frage auf den Grund zu gehen, erstellt sie eine Datenbasis mit über 1000 Portraitfotos von Parlamentsabgeordneten aus aller Welt und lässt die Bilder durch die Bilderkennungsprogramme von Microsoft, IBM und Face++, den drei Marktführern in dem Bereich, analysieren. Das Ergebnis der Untersuchung ist erschreckend und liefert zugleich eine Erklärung für ihre selbst erfahrenen Probleme mit der Technologie: Alle drei getesteten Systeme sind sehr viel besser darin, Männer mit heller Hautfarbe zu erkennen, als dunkelhäutige Frauen. Buolamwini wiederum ist eine Frau und sie ist schwarz.
Ein und dieselbe Technologie kann für unterschiedliche Menschen unterschiedlich gut funktionieren – mit weitreichenden Konsequenzen für das Leben der Betroffenen. Systeme zur Identifikation und Verifikation von Gesichtern finden wir in fast allen modernen Smartphones und sie sind auch dort nicht von Problemen gefeit: Bereits in 2015 machte eine solche Software bei Google Photos negative Schlagzeilen, weil sie dunkelhäutige Nutzer*innen nicht als Menschen erkannte und stattdessen als „Gorillas“ bezeichnete. Darüber hinaus wird eine ähnliche Technologie heute bereits an vielen Flughäfen zur automatisierten Passkontrolle genutzt. Immer mehr Polizeibehörden testen, ob die Kombination aus Überwachungskameras und Gesichtserkennungssoftware ihnen helfen kann, gesuchte Verbercher*innen in Menschenmassen zu identifizieren. Bilderkennungssysteme (von denen Gesichtserkennungssysteme eine Unterkategorie darstellen) basieren auf einem Ansatz, der als „maschinelles LernenMachine Learning Ein Teilbereich der KI, bei dem Systeme aus Daten lernen und sich verbessern, ohne explizit programmiert zu werden.“ bezeichnet wird. Im Entwicklungsprozess erhalten die hinter der Software steckenden Algorithmen einen Datensatz mit mehreren tausend Bildern. Das System sucht dann nach Mustern in den Daten und kann das Erlernte zukünftig auch auf neue, bisher unbekannte Bilder anwenden. Für die Medizin entwickelte Systeme sind so mittlerweile besser darin, Hautkrebs zu erkennen, als hierfür ausgebildete Doktor*innen. Wenn jedoch bestimmte Bevölkerungsgruppen in den Trainingsdaten unterrepräsentiert sind, werden die Algorithmen zukünftig Probleme haben, diese Personen zu identifizieren. Ein lernendes algorithmisches System ist immer nur so gut, wie die Daten, mit denen es trainiert wurde.
Die britische Journalistin Caroline Criado Perez hat der Unsichtbarkeit von Frauen und dem daraus resultierenden „Data BiasBias In der KI bezieht sich Bias auf Verzerrungen in Modellen oder Datensätzen. Es gibt zwei Arten: Ethischer Bias: systematische Voreingenommenheit, die zu unfairen oder diskriminierenden Ergebnissen führt, basierend auf Faktoren wie Geschlecht, Ethnie oder Alter. Mathematischer Bias: eine technische Abweichung in statistischen Modellen, die zu Ungenauigkeiten führen kann, aber nicht notwendigerweise ethische Probleme verursacht.“ ein ganzes Buch gewidmet. In “Invisible Women” zeigt sie anhand von Beispielen aus allen Gesellschaftsbereichen auf, dass weiße Männer fast immer als automatische Voreinstellung gelten – als Basis für das, was als „normal“ verstanden wird. Ein Phänomen, welches schon lange vor der Digitalisierung bestand. So war etwa viele Jahrzehnte lang das Risiko bei einem Autounfall schwer verletzt zu werden oder zu sterben für Frauen doppelt so hoch als für Männer. Der Grund: Für die Entwicklung ihrer Sicherheitssysteme nutzten Autohersteller lange Zeit Crashtest-Dummies, die den durchschnittlichen männlichen Körpermaßen entsprachen. Criado Perez demonstriert, dass die Praxis den „weißen Mann als Standard“ zu verstehen, sowohl Ursache als auch Resultat von Diskriminierung darstellt[1]. Denn Technologie wirkt als Katalysator, der menschliche Vorurteile reproduzieren und zugleich skalieren kann. Es entsteht eine Spirale der Diskriminierung.
Wie wir durch die Kontrolle von Algorithmen der Gleichberechtigung näherkommen
Das Problem wird dadurch verstärkt, dass wir Technologie eine gewisse Neutralität und Objektivität zusprechen und dabei auch vergessen, dass die Systeme von Menschen gemacht werden. Der Entwicklungsprozess algorithmischer Systeme ist komplex und Fehler können sich an unterschiedlichen Stellen einschleichen. Bei algorithmischen Systemen, die das Leben von Menschen maßgeblich beeinflussen, muss daher eine umfassende Kontrolle sichergestellt werden!
Erstens muss gewährleistet werden, dass Betroffene darüber informiert werden, wenn Algorithmen über sie entscheiden, und dass Entscheidungen für sie nachvollziehbar gemacht sowie Beschwerdemechanismen eingerichtet werden. Die Datenethikkommission des deutschen Bundestages fordert beispielsweise eine Kennzeichnungspflicht für algorithmische Systeme, die Betreiber dazu verpflichtet, deutlich zu machen, wann und in welchem Umfang algorithmische Systeme zum Einsatz kommen.
Zweitens muss überprüft werden, ob rechtliche Rahmenbedingungen noch zeitgemäß sind. So wirkt das Allgemeine Gleichbehandlungsgesetz (AGG) bei Algorithmen derzeit nur eingeschränkt. Das AGG ist zwar technologieneutral formuliert, erfasst also durchaus auch algorithmische Prozesse. Allerdings gilt es nur für bestimmte Lebensbereiche wie Bildung, Sozialleistungen oder Anstellungsverhältnisse. Gerade bei Verträgen zwischen Privaten sind jenseits des Arbeitsrechts nur wenige Anwendungsfälle erfasst. Rechtswissenschaftler*innen haben deshalb bereits vorgeschlagen, den Katalog der AGG-Tatbestände so zu ergänzen, dass er algorithmenbasierte Ungleichbehandlungen (etwa bei der personalisierten Preisgestaltung) deutlich weitergehender ausschließt[2].
Drittens müssen Aufsichtsbehörden in allen Sektoren ihre digitalen Kompetenzen ausbauen und ihren Werkzeugkasten zum Schutz der Bürger*innen erweitern, um sicherzustellen, dass bestehendes Recht auch durchsetzbar bleibt. Erfreulicherweise wurden hierfür in den letzten Jahren eine Vielzahl an Ansätzen entwickelt, um Datensätze und automatisierte Entscheidungen auf diskriminierende Muster hin zu überprüfen. Einige dieser Prüfansätze wurden bereits stark durch feministische Theorien beeinflusst. Joy Buolamwini, die seit ihrer Arbeit zu diskriminierenden Gesichtserkennungssystemen zu einer der Vorreiter*innen in der „Algorithmen-Ethik“ Diskussion geworden ist, fordert in ihrem Projekt „Gender Shades“, dass sich Mechanismen zur Kontrolle algorithmischer Systeme an intersektionalen Verständnissen von Diskriminierung orientieren sollten. Intersektionalität ist ein durch Kimberlé Crenshaw, US-amerikanische Juristin und feministische Vordenkerin in 1989 bekannt gemachtes Konzept, welches analysiert, wie sich Diskriminierungen aufgrund von Merkmalen wie Geschlecht, ethnische Herkunft, Behinderungen, sexuelle Orientierung und Alter durch ineinandergreifende Systeme von Macht und Unterdrückung verstärken. Übertragen auf die Kontrolle algorithmischer Systeme bedeutet dies, dass nicht nur geprüft wird, ob die Systeme für Frauen schlechter funktionieren als für Männer, sondern auch, ob bestimmte Personengruppen aufgrund einer Kombination aus geschützten Merkmalen (bspw. schwarze Frauen) besonders stark diskriminiert werden. In Buolamwinis Untersuchung konnte das Gesichtserkennungssystem von IBM weiße Männer beispielsweise in fast 100 Prozent und weiße Frauen in 93 Prozent der Fälle erkennen. Bei schwarzen Frauen hatte das System gerade einmal eine Erkennungsrate von 65 Prozent.
Um eine umfassende Kontrolle algorithmischer Systeme sicherzustellen, braucht es interdisziplinäre Ansätze, bei denen auch feministische und emanzipatorische Perspektiven mitgedacht werden. Erfolgreiche analoge Schutzkonzepte müssen in die Diskussion über die Gestaltung des digitalen Wandels übertragen werden. Es liegt an beiden Seiten, der digitalen Szene ebenso wie der analogen Zivilgesellschaft und Wissenschaftsgemeinschaft, sich einander anzunähern und voneinander zu lernen.
Den Blick auf die Ziele hinter der Technologie richten!
Erfreulicherweise hat die Diskussion über den ethischen Einsatz algorithmischer Systeme in den letzten Jahren rasant an Fahrt aufgenommen. Doch neben einer dringend notwenigen Debatte über die bessere Gestaltung der Technologie sollte nicht vergessen werden, dass auch gute Algorithmen zu problematischen Ergebnissen führen können. Nicht nur die Daten und der Code, sondern vor allem die dahinter liegenden Zielvorgaben entscheiden darüber, ob algorithmische Systeme soziale Ungleichheit abbauen oder verstärken.
In der Diskussion über den Einsatz von Gesichtserkennungssystemen durch Polizeibehörden zur Überwachung im öffentlichen Raum liegt der Fokus allzu häufig auf der Frage der unterschiedlichen Fehlerraten für Männer und Frauen und für weiße und schwarze Menschen. Dabei sollten wir uns auch die grundsätzliche Frage stellen, ob der Einsatz solcher Systeme, unabhängig von seiner technischen Funktionalität, tatsächlich zu mehr Sicherheit führt und ob wir bereit sind, hierfür weitreichende Konsequenzen für Freiheitsrechte und Demokratie in Kauf zu nehmen.
Durch den Einsatz von Algorithmen werden zumeist Konflikte offengelegt, in denen mehrere Ziele im Widerstreit stehen. In Londoner Krankenhäusern regeln etwa Algorithmen die Verteilung von Patient*innen auf die Stationen und Betten. Je nach Programmierung kann die Software ganz unterschiedlichen Zielen und Interessen dienen: der Auslastung des Krankenhauses, der Abrechenbarkeit bei den Versicherungen, der Versorgungsqualität für die Patient*innen oder dem Renommee einer Institution. Diese Ansprüche können nicht gleichermaßen befriedigt werden. Wenn verschiedene Wertvorstellungen miteinander konkurrieren, dann müssen die Ziele eines algorithmischen Systems angemessen breit diskutiert werden. Solche Werteabwägungen sind kein technisches, sondern ein ethisches Problem[3].
In dieser Hinsicht kann die Algorithmenethik-Szene ebenfalls noch einiges lernen von Feminist*innen, queeren Aktivist*innen, Menschen, die sich für die Rechte von People of Color (PoC) und von Menschen mit Behinderung einsetzen, und grundsätzlich von allen, die traditionell Fragen der strukturellen Diskriminierung beleuchten: Wer hat die Macht, zu definieren, was als „normal“ angesehen wird? Welche Probleme prioritär sind und für wen Lösungen entwickelt werden sollen? Wer entscheidet über Werteabwägungen und wer ist an der Gestaltung von Zukunftsvisionen beteiligt?
Auf dem Weg zu einer gerechteren Gesellschaft müssen wir sicherstellen, dass die Macht über die Priorisierung von algorithmischen Zielen in die Hände der Gesellschaft gelegt wird.
Dies erfordert erstens, dass Personengruppen, die durch ein System besonders betroffen sind, in die Gestaltung der Software miteinbezogen werden müssen. Für das System zur Patienten-Betten-Zuteilung im Krankenhaus bedeutet das beispielsweise, dass neben Ärzt*innen und Pflegepersonal, auch Patientenvertreter*innen und die Krankenkassen involviert werden sollten und dass mitgedacht wird, ob bestimmte Personen aufgrund bestehender gesellschaftlicher Benachteiligung gegebenenfalls einen besonderen Schutz benötigen.
Zweitens brauchen wir eine breite gesellschaftliche Debatte über die Grenzen, die dem Einsatz algorithmischer Systeme gesetzt werden sollen. Der Zivilgesellschaft kommt hierbei eine tragende Rolle zu. Sie kann die Öffentlichkeit sensibilisieren, Räume für Dialog und Austausch schaffen sowie Debatten auch jenseits von Expert*innenkreisen anregen und dauerhaft am Leben halten.
Zu guter Letzt müssen wir in der Entwicklung neuer Technologie auch immer eine Chance sehen, bestehende Konzepte und Praktiken zu hinterfragen und neue positive Zukunftsvisionen zu entwickeln. Der Feminismus ist eine „Denk-Technik“, die es einem ermöglicht, die Grenzen des Machbaren im eigenen Kopf zu verschieben. Er lädt ein zu träumen und hält einen in Bewegung. Algorithmen können das Gleiche tun, auch wenn sie dabei nur Instrument und nicht Endziel sind. Sie legen Konflikte offen und fordern einen heraus, sich damit auseinanderzusetzen, in welcher Welt wir leben wollen.
Was als ethisch richtig verstanden wird, ist kontextabhängig, kulturell unterschiedlich und kann sich mit der Zeit ändern. Die Abwägung darüber, was erlaubt ist und was nicht und wo wir uns als Gesellschaft hinbewegen wollen, muss daher als dynamischer Prozess verstanden werden und darf nie als abgeschlossen gelten.
Vielfalt der entwickelnden Akteure fördern!
Neben einer umfassenden Kontrolle algorithmischer Systeme und einer breiten gesellschaftlichen Debatte über ihre Ziele, müssen wir auch sicherstellen, dass die Personen, die die Software entwickeln, genauso divers sind wie unsere Gesellschaft. Wenn Technologien von einer homogenen Gruppe von Menschen gestaltet werden, geraten die Ansichten und Bedürfnisse anderer schnell aus dem Blick.
Das Ziel einer vielfältigen Tech-Branche scheint aktuell noch weit entfernt. Der typische Programmierer im Silicon Valley ist jung und männlich. Der Anteil weiblicher IT-Fachkräfte erreicht bei Google, Facebook und Amazon nicht einmal die 20-Prozent-Marke. Über zwei Drittel der Mitarbeiter*innen in US-Tech-Firmen sind weiß, in Führungspositionen sogar vier Fünftel. Auch in Deutschland liegt der Frauenanteil in der IT-Branche deutlich unter 20 Prozent, nur ein Viertel der Absolventen sogenannter MINT-Studiengänge[4] sind hierzulande weiblich, gerade einmal 15 Prozent aller Start-ups haben eine (Mit-)Gründerin. Gleichzeitig ist die Wahrscheinlichkeit, dass eine Frau ein IT-Unternehmen verlässt, bevor sie die höchste Managementebene erreicht, doppelt so hoch als bei ihren männlichen Kollegen.
Um die Tech-Berufe für bislang unterrepräsentierte Gruppen attraktiv zu machen, müssen tradierte Strukturen aufgebrochen werden: Stereotype, die uns von klein auf eingeprägt werden, etablierte Netzwerke weißer Männer, verbreiteter Sexismus, eine Unterrepräsentanz afro- und hispanoamerikanischer Studierender an den US-Universitäten, aus denen Tech-Talente maßgeblich rekrutiert werden, mangelnde Diversität der Vorbilder in den Führungspositionen. Viele Lösungsansätze befinden sich seit Jahrzehnten in der Diskussion, werden jedoch nur vereinzelt umgesetzt. Längst überfällig sind systematische und nachgewiesen wirksame Maßnahmen, um das Interesse von Mädchen an MINT-Fächern in der Schule zu wecken. Nötig sind Bias- und Diversity-Trainings, auch um die Vereinbarkeit von Beruf und Familie zu verbessern. Und es braucht Men-toring- und Netzwerk-Programme, um Minderheiten in der Tech-Branche zu fördern.
Wenn wir es schaffen, eine umfassende Kontrolle algorithmischer Systeme sicher zu stellen. Wenn wir es ermöglichen, die gesamte Gesellschaft an der Entwicklung von Visionen zu beteiligen. Wenn wir eine transparente und breite gesellschaftliche Debatte über die Ziele und Grenzen algorithmischer Systeme führen. Wenn wir eine Vielfalt der Technologie-entwickelnden Akteure fördern. Wenn wir all dies interdisziplinär und mit emanzipatorischer Perspektive tun, dann können uns Algorithmen zu einer gerechteren Welt verhelfen. Die wachsende Zahl an Initiativen, die sich für einen gemeinwohlorientierten Einsatz von algorithmischen Systemen engagieren, lässt hoffen. Denn sie zeigen bereits Wirkung. Wenn man Alexa heute beleidigt, wehrt sie sich. Fragt man das Assistenzsystem „Alexa, bist du Feministin?“ antwortet sie “Ja, ich bin Feministin. Wie alle, welche die gesellschaftliche Ungleichheit zwischen Männern und Frauen überbrücken wollen.”
Auszüge aus dem Beitrag und neuste Beispiele können Sie sich auch in einem kurzen Video-Beitrag mit Carla Hustedt und Julia Gundlach ansehen:
__________________________________
[1] Vgl. Criado-Perez, Caroline (2019): Invisible Women. Exposing Data Bias in a World Designes for Men, Chatto & Windus, Penguin Random House, London.
[2] Vgl. Martini, Mario (2017): Algorithmen als Herausforderung für die Rechtsordnung, Juristenzeitung, 72, Nr. 21, Seiten 1017-1025, hier: Seite 10
[3] Vgl. Dräger, Jörg und Müller-Eiselt, Ralph (2019): Wir und die intelligenten Maschinen, DVA, 1. Auflage, Seite 173.
[4] MINT steht für Mathematik, Informatik, Naturwissenschaften und Technik.
Dieser Artikel ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.
Kommentar schreiben