Kann ein Algorithmus sexistisch sein? Sollten Algorithmen die Arbeitsmarktchancen von Arbeitslosen berechnen? Wann ist eine Künstliche Intelligenz (KI) eigentlich nachvollziehbar und transparent? Wie erfolgreich war das Pilotprojekt zur Gesichtserkennung am Berliner Bahnhof Südkreuz?

Antworten auf diese und weitere spannende Fragen, Meinungsbeiträge und neue wissenschaftliche Erkenntnisse liefert unserer Erlesenes-Newsletter #42:

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns stets sehr über Vorschläge für Erlesenes von unseren Leser:innen. Wer einen spannenden Text gefunden hat, kann uns diesen gerne per E-Mail an carla.hustedt@bertelsmann-stiftung.de zukommen lassen.

?Amazon verwirft sexistisches KI-Tool für Bewerber

11. Oktober 2018, Golem.de

Der Onlineriese Amazon ist mit einem Experiment, einen selbstlernenden Algorithmus geeignete Bewerber:innen auswählen zu lassen, in ein eigentlich leicht vermeidbares Fettnäpfchen getreten: Die vom Algorithmus verwendete Datenbasis enthielt überwiegend Bewerbungen von Männern. Aus Sicht der Software waren daher Bewerbungen von Frauen per se schlechter und erhielten eine niedrigere Punktzahl als die von männlichen Mitbewerbern. Das Resultat: ein sexistischer Algorithmus, der Männer vorzog. Oliver Nickel berichtet bei Golem.de, dass Amazon bereits im Jahr 2015 das Problem erkannt und zu intervenieren versucht habe, indem das Wort „Frau“ als neutral definiert wurde. Dieser Eingriff genügte allerdings nicht, weshalb der Algorithmus nun verworfen worden sei. Angesichts der großen Medienaufmerksamkeit für den Fall ist immerhin davon auszugehen, dass andere Firmen mit ähnlichen Systemen nun hoffentlich genau hinschauen, wie ihre Algorithmen arbeiten. Passend zum Thema empfehlen wir unseren im August 2018 publizierten Artikel zum Robo Recruiting.

?Die verschiedenen Interessen erklärbarer KI

(Stakeholders in Explainable AI), 29. September 2018, arXiv.org

Die Entscheidungen von Künstlicher Intelligenz (KI) sollen erklärbar, nachvollziehbar und transparent sein, so lautet eine gängige Forderung. Abgesehen von technischen Herausforderungen (die allerdings sukzessive gelöst werden, siehe Erlesenes #38: “Eine KI, die ihre Denkvorgänge erklären kann”) existiert jedoch eine Hürde auf dem Weg dahin: Verschiedene Interessenvertreter:innen haben ihre jeweils eigenen Vorstellungen davon, was Erklärbarkeit, Nachvollziehbarkeit und Transparenz im Kontext von KI eigentlich bedeutet. Forscher:innen von IBM Research und der Universität Cardiff diskutieren in diesem Artikel vier verschiedene Gruppierungen und ihre individuellen Bedürfnisse hinsichtlich erklärbarer KI: Entwickler:innen, Theoretiker:innen, Ethiker:innen sowie Nutzer:innen. Die Forscher:innen betonen abschließend, dass die ihrer Ansicht nach wichtigste Gruppe in der wissenschaftlichen Literatur bislang kaum Beachtung findet: die Nutzer:innen. Werden ihre Ansprüche nicht ernst genommen, drohe ein neuer “KI-Winter”.

?AMS bewertet Arbeitslose künftig per Algorithmus

10. Oktober 2018, derStandard.at

Der österreichische Arbeitsmarktservice (AMS), der die Funktionen eines öffentlich-rechtlichen Arbeitsamts erfüllt, wird ab 2019 Arbeitslose mithilfe eines Algorithmus in eine von drei Kategorien einteilen lassen: in jene mit hohen, mittleren und niedrigen Chancen, am Arbeitsmarkt unterzukommen. András Szigetvari, Journalist bei Der Standard, erläutert die Details der Maßnahme, die zur Folge hat, dass AMS-Berater:innen künftig bei allen von ihnen betreuten Arbeitssuchenden sehen, wie das Computersystem die Lage einschätzt. Ab 2020 ist geplant, die AMS-Ausgaben entsprechend der algorithmischen Einteilung anzupassen. Der Fokus soll dann auf dem mittleren Segment liegen. Wer von der Software als hoffnungsloser Fall eingeschätzt wird, könnte es künftig schwerer haben. In Österreich ist eine lebhafte Debatte über dieses neue System entbrannt. Unter anderem wird ihm vorgeworfen, systematisch gegen Frauen zu diskriminieren. Die Journalistin Barbara Wimmer fasst in einem Artikel auf futurezone die Kritik zusammen.

?Umstrittene Gesichtserkennung soll ausgeweitet werden

12. Oktober 2018, Spiegel Online

Am Berliner Bahnhof Südkreuz wurden im Rahmen eines kontrovers diskutierten Pilotprojekts ein Jahr lang drei Gesichtserkennungssysteme getestet. Laut Bundesinnenministerium habe das beste System die Testpersonen in 80 Prozent der Fälle erkannt. Etwa in einem von tausend Fällen sah das System fälschlicherweise eine Testperson – stufte also jemanden als verdächtig ein, der oder die es gar nicht war. Diese Angaben stammen aus dem Abschlussbericht zum Projekt, über den Spiegel-Online-Redakteurin Angela Gruber berichtet. Das Innenministerium wertet das Unterfangen als Erfolg und will die Technik nun häufiger einsetzen. Der Chaos Computer Club (CCC) hält die Ergebnisse allerdings für „geschönt“. Die individuelle Trefferquote der drei getesteten Systeme läge deutlich unter den zitierten 80 Prozent und auch die Zahlen zur Falscherkennungsrate seien frisiert: Laut CCC würden mit der Technologie am Bahnhof Südkreuz täglich mehr als 600 Passant:innen fälschlich ins Visier der biometrischen Installation geraten. Zudem habe es methodische Schwächen bei der Durchführung des Pilotprojekts gegeben. Das Fazit der IT-Aktivist:innen: „völlig unbrauchbar“. Wie wichtig ein reflektierter Umgang mit solchen Zahlen ist, war bereits anlässlich der Zwischenergebnisse Ende 2017 auf unserem Blog zu lesen.

?Wie man sichere Künstliche Intelligenz entwickelt

(Building safe artificial intelligence: specification, robustness, and assurance), 27. September 2018, Medium

Was Sicherheit angeht, ähnelt die Entwicklung von Künstlicher Intelligenz (KI) der von bemannten Raketen. Mit diesem Vergleich beginnt das Team des zu Google gehörenden KI-Unternehmens DeepMind seinen ersten Blogpost, der sich um drei Eckpfeiler der Sicherheit von KI-Systemen dreht: Spezifizierung, Robustheit und Kontrolle. Die Forscher:innen beschreiben unter anderem die Schwierigkeit, klar zu definieren, was sie von einer KI eigentlich wollen, sowie das Problem, wenn das festgelegte Wunschergebnis nicht mit dem tatsächlichen Resultat übereinstimmt. Die Bedeutung von Robustheit erläutern sie an einem sehr konkreten Beispiel: Diese Disziplin sei beispielsweise dafür verantwortlich, dass ein Reinigungsroboter einen nassen Wischmopp nicht im Rahmen des Lernprozesses in eine Steckdose steckt oder das Haustier mitreinigt. Beim dritten Eckpfeiler Kontrolle geht es vor allem darum, die Entscheidungen einer KI zu verstehen und genau zu überwachen, wie sie sich verhält, um im Notfall einschreiten zu können.

Das war‘s für diese Woche. Sollten Sie Feedback, Themenhinweise oder Verbesserungsvorschläge haben, mailen Sie uns gerne: carla.hustedt@bertelsmann-stiftung.de 

Sie können die Algorithmenethik Lektüreempfehlungen “Erlesenes” hier abonnieren.