Wie können algorithmische Systeme Femizide verhindern? Wann sind Vorurteile manchmal nützlich? Und wissen Sie, was „cattley“ bedeutet? Der Algorithmus schon! Die Auflösungen zu diesen Fragen finden Sie, wie immer, in der neuen Ausgabe des Erlesenes-Newsletters. Wir verabschieden uns damit auch in eine kurze Auszeit und melden uns bald wieder! Auf unserem Blog und auf Twitter (@algoethik) informieren und diskutieren wir weiter, bleiben Sie dran!

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns stets sehr über Vorschläge für Erlesenes von unseren Leser:innen. Wer einen spannenden Text gefunden hat, kann uns diesen gerne per E-Mail an lajla.fetic@bertelsmann-stiftung.de zukommen lassen.

? In Spanien prognostiziert ein Algorithmus Gewalt gegen Frauen

(In Spain, the VioGén algorithm attempts to forecast gender violence), 27. April 2020, AlgorithmWatch

Seit 2007 bewertet in Spanien ein von der Polizei eingesetzter Algorithmus das Risiko von Frauen, Opfer von Gewalt durch ihre (Ehe)Partner zu werden. Der Journalist Michele Catanzaro schildert in diesem Text, wie das seit seinem Debüt mehrfach überarbeitete System namens VioGén funktioniert. Dieses errechne auf Basis eines Onlinefragebogens einen Risikoscore für Frauen, die aufgrund einer häuslichen Bedrohungssituation zur Polizei gehen. Von Catanzaro zitierte Expert:innen äußern sich grundsätzlich positiv über den Algorithmus. Es sei zwar unklar, wie vielen Personen VioGén das Leben gerettet habe – es handele sich aber um die derzeit beste verfügbare Lösung. Perfekt sei sie jedoch keinesfalls: Der Algorithmus habe einige Fälle aufgrund zuvor errechneter niedriger Risikoscores nicht erkannt und damit Femizide (Tötung von Frauen) nicht verhindern können. Kritiker:innen monieren unter anderem, dass für Frauen, die mit der Polizei in Kontakt stünden, das Risiko zukünftiger Gewalt grundsätzlich nicht „niedrig“ sein könne. Diese Geschichte ist Teil des im Herbst 2020 erscheinenden „Automating Society Reports“ der Bertelsmann Stiftung und von AlgorithmWatch.

? Sind Vorurteile im Code manchmal akzeptabel?

(Managing necessary bias in AI), 14. April 2020, Carnegie Mellon University

In der Regel ist es wichtig, sich darüber im Klaren zu sein, dass Technologie nie ohne Vorurteile und Wertentscheidungen programmiert werden kann. Doch es existieren begründete Vorteile, einige „Verzerrungen“ automatisierter Entscheidungen zu dulden, beispielsweise wenn diese funktional notwendig erscheinen. So sei es unerlässlich, dass Feuerwehrpersonal schwer heben kann, wodurch kräftige Menschen und damit tendenziell Männer bei einer automatisierten Personalwahl bevorzugt würden. Sherry Stokes, Kommunikationsverantwortlicher der Carnegie Mellon University, berichtet über die aktuelle Forschung, um derartige Fälle mit Anti-Bias-Maßnahmen für Algorithmen in Einklang zu bringen. Dazu habe ein Team um die Computerwissenschaftlerin Sanghamitra Dutta KI-Modelle so trainiert, dass sie in der Lage sind, in einem verzerrten Datensatz selektiv nur die Vorurteile zu tolerieren, die für die Lösung der Aufgabe kritisch sind (das Papier gibt es hier).

? KI-Regulierung muss Rechte und Risiken für Kinder berücksichtigten

(Response to the European Commission’s White Paper on Artificial Intelligence), 13. Mai 2020, Berkam Klein Center Collection

Dem im Februar 2020 veröffentlichten „Weißbuch zur Künstlichen Intelligenz“ (KI) der EU-Kommission mangelt es bei den Regulierungsansätzen für KI an Berücksichtigung des Kindeswohls. Diese Perspektive vertreten vier Forscher:innen mit Anknüpfung an das Berkman Klein Center for Internet and Society der Harvard University. Ihrer Ansicht nach seien spezifische Maßnahmen erforderlich, um Kinder im Kontext des zunehmenden Einsatzes von KI-basierten Diensten und Produkten sowie damit zusammenhängender Prozesse wie Datensammlung und -verwendung zu schützen. Die vier Autor:innen wollen die EU-Kommission mit ihrer Analyse ermuntern, sich mit Szenarien auseinanderzusetzen, in denen datenbasierte automatisierte Entscheidungen Kinder diskriminieren, ihre digitalen Menschenrechte verletzen sowie ihre Zukunftschancen verringern. Notwendig sei eine multidisziplinäre Perspektive, die neben KI-Praktiken auch soziale, juristische und gesellschaftliche Aspekte berücksichtigt.

? Künstliche Intelligenz liefert Hintergrundberichte zu Job-Bewerber:innen

(Beware of these futuristic background checks), 11. Mai 2020, Recode

In den USA verwenden Unternehmen verstärkt Softwarelösungen, die unter Einsatz von Künstlicher Intelligenz (KI) Hintergrundinformationen zu Bewerber:innen zusammensuchen, berichtet Rebecca Heilweil, Reporterin bei Recode. Besonders beliebt sei derartige Technologie aufgrund ihrer angepriesenen Kosteneffizienz bei Anbietern der „Gig Economy“, wie Beförderungs- oder Lieferdiensten, die Arbeitskräfte nicht fest anstellen. Allerdings gebe es diverse Schwachpunkte der Software: So komme es häufiger vor, dass sie im schlimmsten Fall Bewerber:innen aufgrund von Namensverwechslungen fälschlicherweise Vorstrafen anhängt. Dieses Problem trete besonders für Personen mit verbreiteten Vor- und Nachnamen auf. Auch würden bestimmte Anbieter derartiger Software im amerikanischen Raum auf öffentliche Social-Media-Profile von Kandidat:innen zugreifen und ihre generierten Rekrutierungsempfehlungen mitunter auf einzelnen Aktivitäten wie spezifischen Likes basieren, was ein eigentlich positives Bild schnell trüben kann. Zumindest hierfür gebe es aber eine vermeintlich einfache Lösung seitens der Betroffenen, so Heilweil: Profile auf „privat“ stellen.

? Software erfindet Wörter und passende Definitionen dazu

15. Mai 2020, Golem.de

Englischsprachige Wörter samt Definitionen, die zumindest im ersten Moment klingen, als gäbe es sie wirklich, die aber in Wirklichkeit von Künstlicher Intelligenz erfunden wurden – dies finden Interessierte auf der Website des Projekts Thisworddoesnotexist.com, über das Golem.de-Redakteur Oliver Nickel berichtet. Die eingesetzte Maschine-Learning-Software basiere auf dem Sprachmodell GPT-2, das vom Unternehmen OpenAI für die Generierung von Texten entwickelt wurde. Der Erschaffer Thomas Dimson hat sein Modell sowie eine Beschreibung, wie man eigene erfundene Wörterbücher generieren kann, auf dem Entwicklerportal Github zur Verfügung gestellt. Da die Software Daten direkt aus Wörterbüchern zieht, dürfte dies auch mit deutschen Begriffen möglich sein, so Nickel. Auflösung des Teasers: „Cattley“ ist ein vom Algorithmus erfundenes Wort, das den hungrigen und durstigen Zustand einer Person nach harter Arbeit bezeichnet. Natürlich frei erfunden!

Das war‘s für diese Woche. Sollten Sie Feedback, Themenhinweise oder Verbesserungsvorschläge haben, mailen Sie uns gerne: lajla.fetic@bertelsmann-stiftung.de

Sie können die Algorithmenethik Lektüreempfehlungen „Erlesenes“ hier abonnieren.

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.