Kriminalitätsprognosen, Kreditvergabe, Bewerberauswahl: Algorithmische Systeme beeinflussen heute auf unterschiedlichen Gebieten die Leben vieler Menschen. Damit maschinelle Entscheidungen den Menschen dienen, braucht es gesellschaftliche Gestaltung, zum Beispiel in Form von Gütekriterien für algorithmische Prognosen. Vorhersagen müssen sachgerecht angewendet werden, widerlegbar und unabhängig zu überprüfen sein.

In Filmen und Romanen haben künstliche Wesen seit Jahrzehnten Bewusstsein und verfolgen eigene Absichten. Beides fehlt den Systemen, die heute Kreditwürdigkeit beurteilen, Versicherungstarife berechnen, Bewerbungen vorsortieren oder Polizeikräften Orte für Patrouillen vorschlagen. Neun solcher Anwendungsbeispiele für Prozesse algorithmischer Entscheidungsfindung untersucht unser Arbeitspapier „Wenn Menschen Maschinen bewerten“.

Eine Erkenntnis: Algorithmische Systeme können großen Einfluss auf die Teilhabechancen vieler Menschen haben – zum Beispiel bei der Bewerberauswahl. Automatisierte Verfahren können einerseits Kompetenzen sichtbar machen und Menschen basierend auf ihrem Können auch ohne formale Abschlüsse zu einem Wunschjob führen. Andererseits kann der breite Einsatz algorithmischer Systeme auch diskriminieren und Fehler verstärken. Wenn ein von vielen Arbeitgebern genutztes algorithmisches System aufgrund einer Fehlfunktion bestimmte Bewerberprofile ablehnt, geht es für die Menschen nicht nur um eine Stelle, sondern um den Zugang zur Mehrheit potenzieller Stellen.

Um die Chancen algorithmischer Entscheidungsfindung für mehr Teilhabe zu nutzen, müssen diese Prozesse bei der Planung, Gestaltung und Umsetzung klar auf dieses übergeordnete Ziel ausgerichtet werden. Wenn das nicht geschieht, kann der Einsatz dieser Werkzeuge aber auch ohne weiteres zu mehr sozialer Ungleichheit führen. Das gilt es unbedingt zu verhindern.

Die im Arbeitspapier aufbereiteten Fallbeispiele zeigen die Chancen und Risiken solcher Prozesse. Ein Beispiel: Algorithmische Systeme können sehr konsistent entscheiden. Sie arbeiten zuverlässig die vorgegebene Entscheidungslogik in jedem Einzelfall ab. Darin liegt eine Chance. Im Gegensatz zum Menschen ist Software nicht tagesformabhängig und wendet nicht willkürlich im Einzelfällen neue, vielleicht ungeeignete oder diskriminierende Kriterien an. Doch genau diese Konsistenz algorithmischer Systeme birgt gleichzeitig Risiken: Auch fehlerhafte oder ethisch unangemessene Entscheidungslogiken würde ein System in jedem Einzelfall zuverlässig anwenden. Ein andere denkbare Gefahr: Bei ungewöhnlichen Einzelfällen fehlt die nötige Flexibilität, eine in diesem Einzelfall wichtige Information auszuwerten und anders zu gewichten.

Handlungsbedarf besteht nicht allein auf der technischen Ebene. Die Analyse zeigt anhand vieler Fallstudien, dass es der Gestaltung für Teilhabe auf allen Ebenen des sozioinformatischen Prozesses bedarf. Zum Beispiel kann schon die Auswahl von Daten und die Messbarmachung von Konzepten (wie „Kreditwürdigkeit“) zu Beginn des Entwicklungsprozesses normative Setzungen enthalten, die in bestimmten Fällen grundsätzliche ethische Wertvorstellungen berühren. Dann ist ein breiter gesellschaftlicher Diskurs darüber nötig.

Ein wichtiges geradezu konstitutives Qualitätsmerkmal ist die Überprüfbarkeit von Prozessen algorithmischer Entscheidungsfindung. In vielen der diskutierten Fälle liegen Erkenntnisse über die gesellschaftlichen Folgen nur vor, weil unabhängige Dritte Zeit und Geld in die Beschaffung und Auswertung von Daten investiert und zum Teil Auskunftsrechte vor Gericht erstritten haben. Von solchen Institutionen hängt derzeit ab, ob eine gesellschaftliche Debatte über die Wirkung bestimmter algorithmischer Prozesse überhaupt möglich ist. Dabei sind die Überprüfbarkeit und Nachvollziehbarkeit maschineller Entscheidungen die unverzichtbare Erkenntnisgrundlage für einen lösungsorientierten Diskurs mit dem Ziel, dass diese für mehr Teilhabe gestaltet werden und den Menschen dienen.