Algorithmische Entscheidungsfindung wird nur dem Wohl der Gesellschaft dienen, wenn sie diskutiert, kritisiert und korrigiert wird. Als Impuls für diese Debatte hier neun Erkenntnisse, die wir aus der Analyse von Fallbeispielen im Arbeitspapier „Wenn Maschinen Menschen bewerten“ gezogen haben. Neun Herausforderungen, bei denen Handeln notwendig ist.

1. Falsifizierbarkeit sicherstellen

ADM-Prozesse können asymmetrisch aus Fehlern lernen. Asymmetrisch bedeutet: Das System kann qua Design des gesamten Prozesses nur bestimmte Arten der eigenen Fehlprognosen nachträglich erkennen. Wenn Algorithmen asymmetrisch lernen, drohen selbstverstärkende Rückkoppelungseffekte.

2. Sachgerechte Anwendung sichern

Institutionslogik kann dazu führen, dass ADM-Prozesse völlig anders eingesetzt werden, als es die Entwickler vorgesehen haben. Derart unsachgerechter Einsatz ist zu vermeiden.

3. Geeignete Wirkungslogik finden

Durch Algorithmen ermöglichte Effizienzgewinne einzelner Prozessschritte können die Frage überdecken, ob die zur Lösung eines gesellschaftlichen Problems eingesetzten Mittel insgesamt angemessen sind.

4. Konzepte korrekt messbar machen

Soziale Phänomene oder Konzepte, wie zum Beispiel Armut oder der soziale Ungleichheit, sind häufig schwer zu operationalisieren. Hilfreich sind im öffentlichen Diskurs entwickelte und belastbare Kennzahlen.

5. Umfassende Evaluation gewährleisten

Die normative Kraft des technisch Machbaren überholt allzu leicht die Diskussion über das gesellschaftlich Sinnvolle. So kann die Skalierbarkeit maschineller Entscheidungen schnell zu Einsatzszenarien führen, deren gesellschaftliche Angemessenheit und Folgen nicht geprüft und nicht debattiert worden sind.

6. Vielfalt von ADM-Prozessen sichern

Die einmal entwickelte Entscheidungslogik eines ADM-Prozesses ist auf sehr viele Fälle anwendbar, ohne dass die Kosten für den Einsatz substanziell steigen. Das führt dazu, dass in einigen Lebensbereichen wenige ADM-Verfahren dominieren können. Je größer die Reichweite ist, desto schwieriger ist es für den Einzelnen, sich der Verfahren und Folgen zu entziehen.

7. Überprüfbarkeit ermöglichen

Ob ein ADM-Prozess ein adäquates Konzept von Fairness verwendet, wird häufig nicht überprüft. Wenn Logik und Natur eines Algorithmus geheim gehalten werden, ist dies sogar unmöglich. Ohne Überprüfung durch unabhängige Dritte kann keine informierte Debatte über Chancen und Risiken eines spezifischen ADM-Prozesses geführt werden.

8. Soziale Wechselwirkungen beachten

Selbst bei einem sehr eingeschränkten Einsatz ist die Wechselwirkung von ADM-Prozessen mit der Umwelt sehr komplex. Nur die Analyse der Wirkungen des gesamten sozioinformatischen Prozesses kann zeigen, in welchem Verhältnis Chancen und Risiken stehen

9. Zweckentfremdung verhindern

Leicht abrufbare Prognosen wie Scoringwerte können für nicht angemessene Ziele genutzt werden. Solche Zweckentfremdungen sind unbedingt zu verhindern.

Veröffentlicht unter CC BY-SA 3.0 DE (Namensnennung — Weitergabe unter gleichen Bedingungen). Gekürzter Auszug aus: “Wenn Maschinen Menschen bewerten” 1. Auflage 2017 , 50 Seiten (PDF), DOI 10.11586/2017025