KI-Systeme sollen unseren Alltag erleichtern und gewisse Prozesse effizienter gestalten – schön und gut. Doch was passiert, wenn wir uns zu sehr auf sie verlassen? Ein eindrückliches Beispiel dafür, was passieren kann, wenn Technik irrt, zeigt die falsche Verdächtigung von Robert Williams durch die Detroiter Polizei aufgrund ihrer Gesichtserkennungstechnologie. Die wachsende Verbreitung biometrischer Identifizierungssysteme, wie sie an Londoner U-Bahnstationen in den „Smart Stations“ eingesetzt werden, wirft bedeutende Fragen zu unseren Grundrechten, insbesondere der Privatsphäre, auf. Außerdem: Was Meta mit unseren öffentlichen Facebook- und Instagramdaten vorhat und warum diese Pläne in Europa, dank der Nichtregierungsorganisation (NGO) noyb, vorläufig gestoppt wurden.

Viel Spaß beim Lesen wünschen

Elena und Asena

P.S. Sie wollen Erlesenes alle zwei Wochen als Newsletter im Postfach haben? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de, bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl oder bei Bluesky unter @reframetech.bsky.social.

Unsere digitale Geschichte, neu verpackt

My Memories Are Just Meta’s Training Data Now, WIRED, 21.6.2024

Wer kennt es nicht: Hier ein Foto vom Abschlussjahrgang 2012, dort ein Bericht zur letzten Ostasienreise. Haben die meisten von uns, die Facebook oder Instagram nutzen, schon einmal gemacht. Was öffentlich geteilt wird, kann auch genutzt werden, um KI zu trainieren, so Meta, das Unternehmen hinter Facebook und Instagram, und kündigte vor wenigen Wochen an, persönliche Inhalte von Nutzer:innen zum Trainieren seiner Algorithmen zu verwenden.  In diesem Artikel zeigt Morgan Meaker, dass unsere digitalen Spuren zunehmend zu Trainingsdaten für zukünftige Technologien werden, und illustriert auch, wie andere Unternehmen Informationen von User:innen  verwenden, um ihre KI-Systeme zu trainieren. Was Meta dabei aber herausstechen lässt, ist seine Reichweite aufgrund der hohen Nutzer:innenzahl und der Art und Weise, wie es darangegangen ist,  seine Datenschutzrichtlinie in Hinblick auf die Datennutzung zu KI-Trainingszwecken zu erneuern: Anstatt Nutzer:innen um ihr Einverständnis zu bitten, entschied sich Meta, über ein kompliziertes Opt-out-Verfahren Widerspruch einlegen zu lassen.  Dieses Vorgehen beanstandete auch die Nichtregierungsorganisation noyb (none of your business) und legte Beschwerde bei den europäischen Datenschutzbehörden ein. Damit muss Meta sein Vorhaben innerhalb europäischer Grenzen auf Eis legen. Dieser Fall führt vor Augen, wie wichtig klare Regulierung und transparente Praktiken bleiben, insbesondere im Umgang mit unseren persönlichen Daten.

Wenn Technik irrt und Menschen leiden

I Was Wrongfully Arrested Because of Facial Recognition Technology. It Shouldn’t Happen to Anyone Else, Time, 29.6.2024

Im Januar 2020 wurde Robert Williams vom Detroit Police Department (DPD) fälschlicherweise verhaftet. Der Grund dafür war eine inkorrekte Gesichtserkennung, die zur Ermittlung eines Diebstahls eingesetzt wurde. Die besagte Gesichtserkennungstechnologie hat Zugang zu 49 Millionen Fotos von Führerscheininhaber:innen des US-Bundesstaates Michigan. Im Falle Robert Williams gab die Gesichtserkennungstechnologie bei einem seiner alten Führerscheine mit einer schlechten Bilderqualität einen „ermittlungstechnischen Hinweis“, und anstatt zusätzliche Beweise zu suchen, entschieden sich die Polizeibeamt:innen, ihn aufgrund dieser Gesichtserkennung zu verhaften. Es gibt mehrere Studien, die zeigen, dass Gesichtserkennungssysteme häufig Menschen of Colour falsch identifizieren. Die falschen Anschuldigungen wurden im Falle Williams dann zwar fallengelassen, aber nicht bevor er vor Gericht gehen musste, um sich gegen etwas zu verteidigen, das er gar nicht begangen hatte. Seitdem kämpft Williams für klare Leitplanken dafür, wann und wie die Polizei Gesichtserkennungstechnologien einsetzen darf, mit Erfolg: Das DPD darf jetzt nicht mehr einfach aufgrund einer Gesichtserkennungsanalyse Maßnahmen ergreifen, sondern muss weitere klare Beweise finden, bevor es jemanden beschuldigt. Zusätzlich muss das DPD bei Anwendung der Gesichtserkennung in einer Untersuchung immer die Gerichte und Staatsanwälte über etwaige Mängel und Schwächen der Gesichtserkennungssuche informieren. Auch muss das DPD erstmals seine Beamt:innen über die Grenzen und Ungenauigkeiten der Gesichtserkennungstechnologie schulen und über Verzerrungen in den Daten  aufklären.

“Big brother is watching you” – London Edition

UK train stations trial Amazon emotion recognition on passengers, Biometric Update, 18.6.2024

Wer in den letzten Monaten an Londoner U-Bahn-Stationen vorbeigekommen ist, wurde wahrscheinlich unter dem Pilotprojekt „Smart Station“ durch KI-Systeme von Amazon überwacht und auf das Alter, Geschlecht und Emotionen analysiert. Die eingesetzte Technologie – eine Form des maschinellen Lernens, mit der Objekte in Videoaufnahmen identifiziert werden können –  soll laut Hersteller Echtzeitdaten über das Fahrgastverhalten liefern,  Personen erfassen, die unbefugt Gleise betreten, Bahnsteige zur Erkennung von unerwünschtem Verhalten wie Rennen, Schreien oder Rauchen überwachen und potenzielle Diebe identifizieren. Dadurch sollen die Sicherheit und der Kundenservice verbessert werden. Doch es gibt erhebliche Bedenken hinsichtlich der sozialen Akzeptanz und wissenschaftlichen Genauigkeit. Kritiker:innen argumentieren, dass solche Überwachungstechnologien in die Privatsphäre der Menschen eingreifen und  diskriminierend sein können. Die Notwendigkeit und Ethik solcher Technologien bleiben umstritten, da sie möglicherweise mehr Probleme verursachen als lösen. Es gilt, die langfristigen Auswirkungen dieser Überwachungstechnologien kritisch zu hinterfragen.

Mehr Leitplanken für Plattformen in Afrika

How Africa´s War on Disinformation Can Save Democracies Everywhere, Foreign Policy, 21.06.2024

In diesem Jahr finden in 19 afrikanischen Ländern Wahlen statt, die Ziel größerer Desinformationskampagnen werden könnten. Abdullahi Allim, CEO des Africa Future Fund, mahnt in diesem Artikel afrikanische Regierungen zur Vorsicht auf und verdeutlicht in einem Gedankenexperiment, wie der Völkermord in Ruanda 1994 noch tödlicher hätte verlaufen können, wenn damals schon Algorithmen Desinformation schneller verbreitet hätten, als es damals über Radiosender möglich war. Auch heute haben Desinformationen entlang alteingesessener Konfliktlinien und stark polarisierter Onlinediskurse ein leichtes Spiel, wie am Beispiel des Krieges in der äthiopischen Region Tigray zu sehen ist. Wer dabei auf eine schnelle Reaktion und Gegenmaßnahmen von den großen Technologieunternehmen erwartet, wird enttäuscht: Zum einen sind ihre Algorithmen so gestaltet, dass sie die Interaktion maximieren und dabei Quantität vor Qualität geht , zum zweiten können ihre Algorithmen, die beispielsweise gezielt Hassrede entdecken sollen,  lokale Dialekte nicht verstehen und scheitern an sprachlichen Hürden. Des Weiteren fehlt es an Content Moderation. Was kann man also tun? Der Autor fordert die politische Ebene dazu auf, selbst aktiv zu werden und koordinierte Anstrengungen zu betreiben, um Unternehmen dazu aufzufordern ihre Algorithmen auf Sprachvielfalt zu trainieren, aktivere und schnellere Content Moderation in den betreffenden Ländern zu betreiben sowie das Thema der digital und Medienkompetenzen unter den Bürger:innen voranzubringen.

Licht aus!

London premiere of movie with AI-generated script cancelled after backlash, The Guardian, 20.6.2021

Nach rund zweihundert Beschwerden wurde die Weltpremiere des Films „The Last Screenwriter“ (auf Deutsch „Der letzte Drehbuchautor“), dessen Drehbuch von dem KI-Modell ChatGPT 4.0 generiert wurde, abgesagt. Spoiler-Alarm: Der Film bedient sich des Narrativs „KI übertrifft menschliche Fähigkeiten“. Regisseur Peter Luisi fühlt sich und sein Projekt missverstanden, er betont, dass der Film ein Beitrag zur aktuellen Debatte über den Einsatz von KI in der Filmindustrie leisten soll. Wie und wann KI in der Filmbranche eingesetzt werden kann und soll, bleibt ein kontroverses Thema, das nicht zuletzt auch an die Rechte der Arbeiter:innen in der Kreativbranche gekoppelt ist. Über den Arbeitskampf der US-amerikanischen Drehbuchautor:innen im Umgang mit KI berichtete Erlesenes im letzten Jahr.

Follow-Empfehlung: Gabriela Ramos

Gabriela Ramos ist Stellvertretende Generaldirektorin für Sozial- und Humanwissenschaften der UNESCO, zuständig für KI-Ethik.

Verlesenes: Ein unvorbereiteter Sprung ins kalte Wasser kann gefährlich werden.

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.