Für den Automating Society Report 2020 hat ein journalistisches Recherche-Netzwerk im Auftrag der Bertelsmann Stiftung und AlgorithmWatch über 100 Anwendungsfälle automatisierter Entscheidungsfindung in 16 europäischen Ländern untersucht. Der Report zeigt: Auch wenn die Systeme immer häufiger von der öffentlichen Verwaltung und privaten Unternehmen eingesetzt werden, fehlt es weiterhin an Transparenz, Aufsicht und Kompetenzen.

Im August diesen Jahres trafen sich Hunderte Schüler:innen in London zum Protest gegen einen Algorithmus: Ihre Abschlussnoten waren durch eine Software bestimmt worden, nachdem die Prüfungen wegen der Corona-Pandemie nicht stattfinden konnten. In 40 Prozent der Fälle hatten die Schüler:innen durch das algorithmische System schlechtere Noten erhalten, als erwartet. Besonders betroffen waren bereits benachteiligte Kinder. So entlud sich auf den Londoner Straßen die Wut über automatisierte Diskriminierung und fehlende Nachvollziehbarkeit an solch wichtiger Weggablung des Lebens.

Nicht alle Anwendungsfälle, die im Automating Society Report 2020 zusammengetragen sind, werfen ein so negatives Licht auf unsere zunehmend digitalisierte Gesellschaft. Seit dem letzten Automating Society Report, der Anfang 2019 erschien, sind auch Systeme automatisierter Entscheidungsfindung (automated decision-making, ADM) entwickelt worden, die positive Auswirkungen auf das Leben Einzelner wie auch die Gesellschaft als Ganzes haben: So konnte der Einsatz eines algorithmischen Systems in Spanien dazu beitragen, das Risiko von Gewalt gegen Frauen besser einzuschätzen; ähnliches wird auch in den deutschen Städten Singen und Weimar mit dem System DyRiAS versucht. In Portugal konnte der Arzneimittelbetrug durch den Einsatz eines ADM Systems in einem Jahr um 80 Prozent gesenkt werden.

Entscheidend ist die Umsetzung

Ganz anders sieht es bei der Technologie der Gesichtserkennung aus: Seit dem ersten Automating Society Report Anfang 2019 hat der Einsatz dieser Technologie enorm zugenommen. Sie lässt sich in europäischen Schulen, Flughäfen, Casinos und Fußballstadien finden. Die Genauigkeit der Systeme ist jedoch oftmals zweifelhaft, das Risiko von Diskriminierung hoch und die Berechtigung für ihren Einsatz wurde teilweise erst im Nachhinein erteilt – so wie bei Polizeieinsätzen in Slowenien. Da die Gefahr der Massenüberwachung und der Einschränkung der Grundrechte bei dieser Technologie besonders hoch ist, fordern zivilgesellschaftliche Akteure aus verschiedenen Ländern ein grundsätzliches Verbot.

Doch nur in wenigen Anwendungsfällen geht es um die Frage des Ob. Vielmehr zeigen die Länderrecherchen, dass es vor allem entscheidend ist, wie ein ADM-System eingesetzt wird. „Wenn Systeme transparent gestaltet sind, es eine funktionierende Aufsicht gibt und die Bevölkerung die Kompetenzen hat, um informiert mit ADM-Systemen umzugehen, können sie positiv zu unserer Gesellschaft beitragen“, sagt Sarah Fischer, Project Manager bei der Bertelsmann Stiftung. Dies ist allerdings noch viel zu selten der Fall. Der Automating Society Report 2020 formuliert daher auch eindeutige und praktikable Handlungsempfehlungen für einen gemeinwohlorientierten Einsatz algorithmischer Systeme.

Nötig ist mehr Transparenz beim Einsatz von ADM-Systemen

Eine der Kernforderungen des Automating Society Reports 2020 ist eine größere Transparenz beim Einsatz algorithmischer Systeme. Nur wenn die allgemeine Öffentlichkeit über den Einsatz und die Funktionsweise der Technologie informiert wird, kann in gesellschaftlichen Foren über die zugrundeliegenden Werteabwägungen debattiert, Fehlentscheidungen aufgedeckt und Rechtsverletzungen angeprangert werden. Das Wissen um den Algorithmeneinsatz ist die notwendige Voraussetzung für jegliche konstruktive Art der Auseinandersetzung. Aus diesem Grund empfiehlt der Report die Einführung einer gesetzlichen Verpflichtung, alle von staatlichen Stellen eingesetzten ADM-Systeme in einem öffentlichen Register aufzuführen. Vorbild können hierbei die bereits eingeführten Register in Amsterdam und Helsinki sein.

Der Report zeigt, dass fehlende Transparenz aktuell bei öffentlichen und privaten Anwendungen in allen 16 Ländern ein Problem darstellt und häufig rechtliche Hürden bestehen. In Polen beispielsweise können Personen, die Informationen über ein algorithmisches System zur Erkennung von illegalen Bankaktivitäten offenlegen, mit bis zu fünf Jahren Gefängnis bestraft werden. In Spanien wiederum werden Qualitätskontrolle und Aufsicht über ADM-Systeme beim Einsatz in der öffentlichen Verwaltung gesetzlich gefordert. In der Praxis teilen die Behörden dennoch außerordentlich selten detaillierte Informationen über die automatisierten Systeme, die sie nutzen. Daran zeigt sich, dass Transparenz-Regeln nicht nur festgelegt, sondern auch durchgesetzt werden müssen.

Wirksame Aufsicht sicherstellen

Im Vergleich zu Anfang 2019 ist die Regulierung von automatisierten Systemen, speziell sogenannter „Künstlicher Intelligenz (KI)“, weit oben auf die europäische Agenda gerückt. Die Europäische Kommission setzt sich für „vertrauenswürdige KI“ ein, bei deren Einsatz die Menschen im Mittelpunkt stehen. Doch auch hier müssen die Einzelheiten in den Blick genommen werden: Aktuell wird der Diskurs hauptsächlich von Unternehmensinteressen und geopolitischen Überlegungen im Hinblick auf die Vereinigten Staaten und China bestimmt. Der Automating Society Report bemängelt daher einen fehlenden Mut in der Gestaltung des regulatorischen Rahmens auf EU-Ebene und fordert eine bessere rechtliche Grundlage und Umsetzung von Aufsichtsmechanismen über den ADM-Einsatz.

Die Länderrecherchen zeigen, dass es aktuell an wirksamer Kontrolle mangelt und machen deutlich, wie diese gestaltet werden muss: Das Vorgehen muss systematisch, unabhängig und dokumentiert durchgeführt werden, um zu objektiven Erkenntnissen zu kommen. Ein Rechtsrahmen, der Grundrechte sichert und die Bedürfnisse der Bevölkerung ins Zentrum stellt, kann nur entwickelt werden, wenn er in einem breiten Beteiligungsprozess, insbesondere auch mit Einbezug der Zivilgesellschaft erarbeitet wird.

Die informierte Zivilgesellschaft bildet das Fundament

Der Fall der automatisierten Notenvergabe im Vereinigten Königreich zeigt, wie wichtig die Stimme der Zivilgesellschaft ist: Die öffentliche Debatte und Proteste in Folge des Algorithmeneinsatzes führten dazu, dass die Regierung die Notenvergabe zurücknahm und die Vorbenotung der Lehrer:innen für die Universitätszulassungen gelten ließ. In den Niederlanden haben Zivilrechtler:innen dafür gesorgt, dass ein undurchsichtiges ADM-System namens SyRI, das Betrug von Sozialleistungen aufdecken sollte, wegen Verstößen gegen die Grundrechte vom Gericht verboten wurde. Häufig sind es Wächter-Organisationen wie AlgorithmWatch, die überhaupt erst auf Rechtsverstöße aufmerksam machen und dabei unterstützen, die Öffentlichkeit zu den Risiken und Herausforderungen des Algorithmeneinsatzes zu sensibilisieren.

Wie sich unsere automatisierte Gesellschaft weiterentwickelt, hängt also auch stark von einer informierten Zivilgesellschaft ab, die ein Grundverständnis von ADM-Systemen hat und sich in der öffentlichen Debatte einbringen will. Mit dem Automating Society Report 2020, der die Recherchen von über 40 Mitautor:innen vereint, möchten wir zu dieser Debatte beitragen. Der Report besteht aus 16 Länderkapiteln und einem zur Europäischen Union, die sowohl in journalistischen Geschichten als auch über Kataloge von relevanten ADM-Systemen Ein- und Überblick über die automatisierte Gesellschaft im Jahr 2020 geben.

Die länderspezifischen Berichte können Sie auch in der Landessprache separat abrufen. Sie sind ein übersetzter Auszug des Automating Society Reports 2020.

Dieser Text ist lizenziert unter einer Creative Commons Namensnennung 4.0 International Lizenz.