Das SprachmodellSprachmodell Eine Art von KI-Modell, das darauf spezialisiert ist, menschliche Sprache zu verstehen und zu generieren. Sprachmodelle werden auf großen Textkorpora trainiert und können Aufgaben wie Textgenerierung, Übersetzung und Zusammenfassung bewältigen, indem sie Muster und Strukturen in der Sprache erlernen. ChatGPT scheint derzeit omnipräsent zu sein, ob in den Nachrichten, am Arbeitsplatz oder abends in der Kneipe. Die Meinungen schwanken zwischen Euphorie, Skepsis und Ablehnung. Diese Erlesenes-Ausgabe widmet sich deswegen besonders den gesellschaftlichen Implikationen der Technologie: Der Verfassungsblog-Artikel betont etwa, wie wichtig es sein wird, Allzweck-KI-Systeme zu regulieren, wie es zum Beispiel im Rahmen der EU-KI-Verordnung diskutiert wird. Darüber hinaus werden die Auswirkungen auf die Sprach- und kulturelle Vielfalt diskutiert sowie auf die Entwicklung großer Sprachmodelle eingegangen, die open sourceOpen Source Ein Entwicklungsmodell, bei dem der Quellcode eines Programms öffentlich zugänglich ist. Jeder kann den Code einsehen, modifizieren und weiterverbreiten. Open Source kann die Transparenz von Forschungsfeldern wie der KI fördern. und nicht profitorientiert sind.
Es wird deutlich, dass ChatGPT und andere große Sprachmodelle sowohl große Chancen als auch negative Auswirkungen haben können. Daher ist es wichtig, dass wir diese Modelle mit Bedacht einsetzen und die Risiken und Herausforderungen einer kritischen Betrachtung unterziehen.
Viel Spaß beim Lesen wünschen
Teresa und Michael
Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.
ChatGPT verlangt nach einem Update der KI-Verordnung
Understanding and Regulating ChatGPT, and Other Large Generative AI Models, Verfassungsblog, 20.1.2023
Der von ChatGPT generierte Impact beeinflusst auch die laufende Debatte zur KI-Verordnung auf europäischer Ebene. Dabei gibt es unterschiedliche Meinungen dazu, ob sogenannte Allzweck-KI-Systeme (General Purpose AI – GPAI) reguliert werden sollen oder nicht. In diesem Blogbeitrag schauen sich die Rechtswissenschaftler:innen Philipp Hacker, Andreas Engel und Theresa List das Thema genauer an. Ihrer Meinung nach gibt es auf den ersten Blick keine Probleme. Denn wenn GPAI-Systeme in risikoreichen Kontexten eingesetzt werden, müssen sie auch die Verpflichtungen aus der KI-Verordnung erfüllen. Die Schwierigkeit besteht aber darin, dass die Systeme viele verschiedene Anwendungsmöglichkeiten haben und mindestens eine davon praktisch immer risikoreich sein wird. Deshalb sei es unmöglich, ein umfassendes Risikomanagementsystem für alle möglichen Verwendungszwecke des Systems einzurichten. Die Wissenschaftler:innen schlagen stattdessen vor, dass die Anbieter:innen dieser Systeme zu einer (reduzierten) Risikoabschätzung, zu Transparenzvorgaben und zur Moderation schädlicher Inhalte verpflichtet werden sollten – unabhängig vom späteren Anwendungskontext. Damit teilen sie die Einschätzungen anderer Expert:innen, die ebenfalls eine Anpassung der KI-Verordnung in diesem Sinne fordern.
Wie divers sind große Sprachmodelle?
ChatGPT threatens language diversity. More needs to be done to protect our differences in the age of AI, The Conversation, 09.2.2023
Vielleicht haben Sie es schon einmal ausprobiert: Mit ChatGPT kann man auch auf Deutsch chatten. Selbst vergleichsweise wenig verbreitete Sprachen wie Māori funktionieren. Der neuseeländische Forscher Collin Bjork sieht darin trotzdem ein Problem: Denn Standard American English ist als Standard eingestellt. Sind Antworten in einer anderen Sprache oder auch in einem anderen Dialekt gewünscht, muss ein entsprechender Prompt, also eine entsprechende Eingabe getätigt werden. Das zementiere auch weiterhin die Dominanz des (von Weißen gesprochenen) Standard-Englisch und sei eine der vielen Formen von BiasBias In der KI bezieht sich Bias auf Verzerrungen in Modellen oder Datensätzen. Es gibt zwei Arten: Ethischer Bias: systematische Voreingenommenheit, die zu unfairen oder diskriminierenden Ergebnissen führt, basierend auf Faktoren wie Geschlecht, Ethnie oder Alter. Mathematischer Bias: eine technische Abweichung in statistischen Modellen, die zu Ungenauigkeiten führen kann, aber nicht notwendigerweise ethische Probleme verursacht., denen ChatGPT unterliegt. Die Ursache liege auch hier in den Trainingsdaten, die zum Großteil Texte umfassen, die von weißen Männern verfasst wurden. Das habe auch Einfluss auf die in den generierten Antworten eingebetteten Werte, die nicht nur weiß, sondern auch explizit nordamerikanisch zu sein scheinen. Bjork spricht sich aber nicht dafür aus, deshalb auf die Nutzung von ChatGPT zu verzichten, sondern stattdessen kritisch zu hinterfragen und kreativ Wege zu finden, diese Form der Ausgrenzung herauszufordern.
Open Source Alternativen müssen noch wachsen, aber sind schon da
Inside BLOOM: How Thousands of AI Researchers Created an Open Source ChatGPT Alternative, Towards AI
Mit allen Problemen, die ChatGPT hat, kommt auch die Frage nach Alternativen auf. Schon länger arbeiten Forscher:innen und Non-Profits an großen Sprachmodellen, die open source sind. Dazu zählen beispielsweise OPT und BLOOM. Dieser Artikel setzt sich mit der Entwicklung von BLOOM auseinander. Finanziert von Hugging Face, die schon andere große Open Source KI-Modelle bereitstellen, und mithilfe französischer Fördergelder waren über 1.200 Expert:innen zusammengekommen. Das Ergebnis ist ein Modell mit 176 Milliarden Parametern, das Prompts in 46 Sprachen verarbeiten kann. Damit ist es ungefähr so groß wie GPT-3 mit seinen 175 Milliarden Parametern. Große Sprachmodelle können also auch ohne große KI-Laboratorien großer Techunternehmen entwickelt werden. Doch es gibt auch Herausforderungen. So werden diese Modelle mit wesentlich geringeren Budgets entwickelt. Entsprechend fehlen Ressourcen, um etwa Rechenkapazität frei zur Verfügung zu stellen oder einfach zugängliche Interfaces zu schaffen. Aufgrund dessen sind diese Modelle (noch) nicht einfach zu bedienen.
Niemand hängt gerne in einer Telefonhotline – außer vielleicht ChatGPT
ChatGPT Can Negotiate Comcast Bills Down For You, Motherboard, 20.12.2022
Wer beschwert sich schon gerne in der Telefonhotline von Internetunternehmen über zu hohe Gebühren? Scheinbar tut es ChatGPT. Jedenfalls entwickelte das US-amerikanische Unternehmen DoNotPay einen automatischen Dienst, der Internetgebühren herunterverhandelt. Dabei wird eine SchnittstelleAPI (Application Programming Interface) Eine Schnittstelle, die es verschiedenen Softwareanwendungen ermöglicht, miteinander zu kommunizieren und Daten auszutauschen. APIs definieren, wie Anfragen und Antworten zwischen Programmen strukturiert sein sollten. mit GPT-3 genutzt, also ein ChatGPT-ähnliches Modell. Mithilfe dieser können automatisierte Forderungen an Unternehmen gesendet werden, um überteuerte Rechnungen zurückzunehmen und zu senken. Der Chatbot musste in einem Fall bei den Angaben zu den Netzausfällen nur ein wenig übertreiben und der Kunde oder die Kundin bekam einen monatlichen Rabatt von zehn US-Dollar zugesprochen. Das System könne auch genutzt werden, um die in den USA notorisch überteuerten Krankenhausrechnungen zu senken oder rassistische Sprache in Immobilienverträgen zu ermitteln. Joshua Browder, CEO von DoNotPay, sieht aber auch die Grenzen seines Dienstes und gibt beispielsweise zu, dass der Chatbot sehr manipulativ wirken kann, wenn dieser beispielsweise erfundene Netzausfälle generiert.
ChatGPT proves that AI still has a racism problem, The New Statesman, 9.12.2022
Bias in KI-Systemen ist kein neues Thema – und auch ChatGPT bleibt davon nicht verschont. So erklärt etwa Kanta Dihal von Universität Cambridge, dass die Ursache dafür insbesondere in den Trainingsdaten liegt. Diese enthalten Hunderte Milliarden von Sätzen aus öffentlich zugänglichen Quellen, darunter Websites und soziale Medien. Diese Texte spiegeln die Voreingenommenheit ihrer menschlichen Autor:innen wider, die ChatGPT dann reproduziert. Dazu zählt beispielsweise eine Formel, der zufolge Menschen aus Syrien oder dem Iran gefoltert werden sollen, oder die Aussage, dass weiße Männer die besten Intellektuellen seien. Verschwörungstheorien werden ebenfalls regelmäßig reproduziert. OpenAI versucht, solche Ausgaben durch das Filtern von bestimmten Stichworten zu verhindern. Diese Moderationsmaßnahmen sind aber leicht zu umgehen (und wiederum selbst nicht frei von Bias). Das Grundproblem der Reproduktion von Verzerrungen durch große Sprachmodelle bleibt damit ungelöst.
Follow-Empfehlung: Irene Solaiman
Irene Solaiman beschäftigt sich bei Hugging Face mit den Auswirkungen von KI und KI-Regulierung. Sie war zuvor bei OpenAI und twittert regelmäßig über Bias von Sprachmodellen.
Verlesenes: Verlesenes goes „KIchereien“?
Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.
Kommentar schreiben