Was dürfen Algorithmen und was nicht? Welche Qualitätsstandards müssen sie erfüllen? Zu welchen Zwecken dürfen sie eingesetzt werden? Wichtige Fragen, zu denen es bisher keine Einigung gibt. Eine Vielzahl internationaler Organisationen versucht, sie durch die Formulierung von Gütekriterien für Algorithmen zu beantworten und so eine Grundlage für einen ethischeren Einsatz algorithmischer Systeme zu schaffen. In unserem Arbeitspapier „Gütekriterien für algorithmische Prozesse“ werden drei Vorschläge genauer in den Blick genommen und hinsichtlich ihrer Stärken und Schwächen analysiert.

Der Einfluss von Algorithmen auf das gesellschaftliche und soziale Leben ist nicht mehr zu verleugnen: Sie sammeln, sortieren, gewichten und analysieren unsere Daten und bereiten so Entscheidungen vor, die für das Individuum von weitreichender Bedeutung sein können. Diese Wirkungsmacht gilt es richtig einzusetzen; ein vielversprechender Ansatz ist die Formulierung von Qualitätsstandards für gesellschaftlich relevante Algorithmen.

Technik entsteht nicht in einem Vakuum. An der Gestaltung algorithmischer Systeme ist eine Vielzahl an Akteur:innen beteiligt: Auftraggeber:innen, Programmierer:innen, Implementierer:innen, um nur einige zu nennen. Die Heterogenität der Akteur:innen und das Überlappen verschiedener Berufsfelder erschwert das Herausbilden einer eindeutigen Professionsethik.

Eine Reihe internationaler Organisationen hat sich dieser Problematik angenommen und stattdessen Qualitätskriterien an den Prozess selbst – die Gestaltung von Algorithmen – formuliert.  Es ist jedoch zu beobachten, dass viele dieser Gütekriterienkataloge scheinbar lose nebeneinanderstehen. Es werden neue Dokumente erarbeitet, ohne aus vorherigen Ansätzen zu lernen, und mögliche Synergieeffekte bleiben so ungenutzt.

Drei Gütekriterienkataloge unter der Lupe

In unserem Arbeitspapier werden drei aktuelle Gütekriterienkataloge einer Analyse unterzogen, um deren Stärken und Schwächen herauszuarbeiten. Die Vorschläge sind die “Principles for Accountable Algorithms and a Social Impact Statement for Algorithms” der FAT/ML-Konferenz, die “Asilomar AI Principles” des Future of Life Institute sowie die “Principles for Algorithmic Transparency and Accountability” des ACM US Public Policy Council.

Von der Sinnhaftigkeit einzelner Kriterien über (versteckte) Grundannahmen bis hin zu sprachlichen und formellen Aspekten nimmt unser Arbeitspapier eine Vielzahl von Charakteristiken der Gütekriterienkataloge in den Blick und vergleicht disparate Ansätze miteinander. Abschließend bieten wir eine Zusammenfassung übertragbarer Stärken und auszugleichender Schwächen der Gütekriterienkataloge. Wir möchten auf diese Weise nicht nur den Diskurs zusammenführen, sondern auch eine konkrete Orientierung für die weitere Arbeit in diesem Feld liefern.

Sinnvolle inhaltliche Forderungen – zu wenig Ethik und Implementierungsfragen

Die wesentlichen Erkenntnisse sind in der untenstehenden Abbildung dargestellt (siehe Abb. 1). Es wird deutlich, dass wichtige Aspekte bereits in viele der Kataloge Eingang gefunden haben – beispielsweise eine Sensibilität für Arbeitsschritte, die der Programmierung vorausgehen oder nachgelagert sind. Auch ein großer Adressat:innenenkreis, der der Heterogenität der Verantwortlichen Rechnung trägt, ist oft gegeben. Doch es gibt auch Verbesserungspotenzial. Kriterien, die auf ethische Fragen abzielen, sind selten zu finden, ebenso ein Rekurs auf die Rolle der Politik. Verbote gegen bestimmte Einsätze von Algorithmen sowie Angaben zur praktischen Implementierung des jeweiligen Kataloges fehlen in den analysierten Dokumenten vollständig. Genau dort müssen neue Projekte (wie auch unsere #algorules) ansetzen und aus Bestehendem lernen, um es weiterzuentwickeln.