Algorithmische Systeme bewerten Menschen und das bringt Risiken mit sich – für den Einzelnen, für Personengruppen und die Gesellschaft als Ganzes. Deshalb ist es wichtig, dass algorithmische Prozesse überprüfbar sind. Kann die Datenschutz-GrundverordnungDSGVO (Datenschutz-Grundverordnung) Ein EU-Gesetz zum Schutz personenbezogener Daten und der Privatsphäre von EU-Bürgern. zu einer derartigen Kontrolle beitragen und vor Risiken algorithmischer Entscheidungsfindung schützen? Diese Frage beantworten Wolfgang Schulz und Stephan Dreyer in einer Analyse in unserem Auftrag.

Bei algorithmischen Prozessen birgt nicht so sehr die Datenverarbeitung an sich, sondern vor allem die Entscheidung als Konsequenz der Verarbeitung Risiken für die Nutzer. Sie kann nicht nur Auswirkungen auf individuelle Interessen wie Autonomie und Persönlichkeitsrechte haben, sondern auch ganze Personengruppen diskriminieren. Bislang findet der Einsatz von Algorithmen jedoch weitgehend ohne gesellschaftliche Kontrolle statt. Vor diesem Hintergrund analysieren Wolfgang Schulz und Stephan Dreyer, inwiefern die ab Mai 2018 wirksam werdende Datenschutz-Grundverordnung eine derartige Kontrolle unterstützen und vor ADM-Risiken schützen kann.

Die Analyse zeigt, dass die Wirkung der Verordnung in Bezug auf ADM-Systeme aus zwei Gründen stark eingeschränkt ist. Erstens ist die Anwendung der DSGVODSGVO (Datenschutz-Grundverordnung) Ein EU-Gesetz zum Schutz personenbezogener Daten und der Privatsphäre von EU-Bürgern. eng begrenzt. Sie verbietet nur vollständig automatisierte Entscheidungen, die unmittelbare rechtliche Relevanz oder andere erhebliche Auswirkungen haben; weiterhin zulässig sind Systeme, die menschliche Entscheidungen vorbereiten und Empfehlungen geben. Vollautomatisierte Entscheidungen sind solche, an denen kein Mensch mehr beteiligt ist: wenn etwa Software Bewerber aussortiert, ohne dass sich ein Personaler die Unterlagen angesehen hat. Trifft jedoch ein Mensch die finale Entscheidung und algorithmische Systeme unterstützen sie nur, wie etwa bei der Kreditvergabe, dann greift die DSGVO nicht. Und es gibt auch Ausnahmen von dem Verbot, etwa wenn die Einwilligung des Betroffenen vorliegt. Das führt letztendlich dazu, dass algorithmische Entscheidungen in unserem Alltag gängige Praxis werden.

Datenschutz-Grundverordnung schützt nicht umfassend vor Risiken von ADM-Systemen

Zweitens stärken die Regelungen der DSGVO zwar teilweise die Auskunftsrechte der einzelnen Nutzer und führen über strengere Dokumentationspflichten zu einem höheren Bewusstsein für Betroffenenrechte bei den datenverarbeitenden Akteuren. Die Verordnung bietet jedoch keinen Schutz vor gesellschaftlich relevanten Risiken, die Interessen wie Fairness, Nichtdiskriminierung und soziale Teilhabe betreffen und die über das Datenschutzinteresse des Einzelnen hinausgehen. Die Transparenzvorgaben innerhalb der DSGVO reichen nicht aus, um systematische Fehler und Diskriminierungen ganzer Personengruppen aufzudecken.

Für eine verbesserte Überprüfbarkeit von algorithmischen Systemen sind deshalb ergänzende Ansätze notwendig. Einerseits können Datenschutzbehörden im Rahmen der DSGVO bei ihren Prüfungen auf gesellschaftliche Risiken von ADM-Systemen aufmerksam machen und die Öffentlichkeit sensibilisieren. Andererseits können Ansätze außerhalb der DSGVO zu mehr Kontrolle beitragen, etwa Möglichkeiten zur Überprüfung durch externe Dritte oder Sammelklagen im Verbraucherschutzrecht.

Hier finden Sie das PDF zum Arbeitspapier „Was bringt die Datenschutz-Grundverordnung für automatisierte Entscheidungssysteme?“ mit Cover, das nicht unter eine CC-Lizenz fällt.

Wenn sie das Arbeitspapier weiterverwenden möchten, finden sie hier eine Version ohne Cover, die komplett CC-lizensiert ist.