Ein SprachmodellSprachmodell Eine Art von KI-Modell, das darauf spezialisiert ist, menschliche Sprache zu verstehen und zu generieren. Sprachmodelle werden auf großen Textkorpora trainiert und können Aufgaben wie Textgenerierung, Übersetzung und Zusammenfassung bewältigen, indem sie Muster und Strukturen in der Sprache erlernen., dessen Training so viel Emissionen erzeugt wie fünf Autos während ihrer gesamten Lebensdauer – muss das sein? Wie können die Umweltauswirkungen, z. B. Emissionen oder Wasserverbrauch, großer Sprachmodelle reduziert werden? Werden Klimaaktivist:innen durch KI-basierte Tools überwacht? Was machen „Green AI“-Systeme aus? Diese Erlesenes-Ausgabe widmet sich genau diesen Fragen und stellt damit ein oftmals vernachlässigtes Thema in den Mittelpunkt: Künstliche Intelligenz im Kontext der Nachhaltigkeit.
Viel Spaß beim Lesen wünschen
Teresa und Michael
Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder bei Twitter unter @reframeTech.
Große Sprachmodelle erzeugen so viele Emissionen wie fünf Autos
The mounting human and environmental costs of generative AI, Ars Tecnica, 12.4.2023
Zum Einstieg verschaffen wir uns einen Überblick über die Problemlage: Wie hängen KI-Systeme und Nachhaltigkeit zusammen? Sasha Luccioni, Forscherin bei Hugging Face, fasst in diesem Artikel die aktuellen Erkenntnisse zusammen, und die sind beunruhigend: Der große Energieverbrauch von großen KI-Modellen führt auch zu Treibhausgasemissionen. Das Training des Modells BERT erzeugte etwa so viele Emissionen, wie sie fünf Autos über ihre gesamte Laufzeit erzeugen würden. GPT-3, auf dem ChatGPT basiert, erzeugte mit über 500 Tonnen CO2 sogar noch mehr. Auch mit erneuerbaren Energien trainierte Modelle sind nicht komplett klimaneutral, aber immerhin stieß das Training des offenen BLOOM-Modells nur etwa 30 Tonnen CO2 aus. Dazu kommen noch andere Umweltauswirkungen, wie etwa die Rohmaterialien und Energie zur Herstellung der Hardware. Lucconi gibt daher die Empfehlung, dem aktuellen Trend unter Sprachmodellen entgegenzuwirken und nicht einfach immer größere Modelle zu trainieren. Stattdessen könnten kleinere und effizientere Modelle gebaut und laufend weiterentwickelt werden.
Das fällt alles unter „Green AI“
A Systematic Review of Green AI, 5.5.2023
Der Forschungsbereich zu Künstlicher Intelligenz (KI) und Nachhaltigkeit wächst stetig. Eine Gruppe niederländischer und italienischer Forscher:innen hat sich daher darüber einen Überblick verschafft und insgesamt fast 100 Studien zusammengefasst. Am meisten beschäftigt sich die Forschung demnach mit der Trainingsphase von KI-Systemen, um dort Potenziale oder Gefahren für Nachhaltigkeit zu analysieren. Mögliche Maßnahmen, die dabei untersucht werden, sind insbesondere die Überwachung der tatsächlichen Treibhausgasemissionen, die Möglichkeit der Anpassung von Hyperparametern oder die Definition von Benchmarks für nachhaltige KI-Systeme. Mit Abstand am meisten beschäftigen sich die untersuchten Studien aber nur mit der Perspektive der Energieeffizienz bzw. dem Verhältnis zwischen Modelltraining, Energieverbrauch und Emissionen – andere Dimensionen von Nachhaltigkeit oder gar holistische Untersuchungen sind rar. Die Autor:innen sehen außerdem insbesondere in der praktischen Umsetzung noch Lücken und empfehlen, dass sich die Forschung als nächstes darauf fokussiert.
Nachts sind KI-Modelle weniger „durstig“
Making AI Less “Thirsty”: Uncovering and Addressing the Secret Water Footprint of AI Models, 6.4.2023
Die eben identifizierte Lücke will diese Forschungsgruppe aus den USA direkt füllen: Sie haben sich nämlich angeschaut, wie groß der Wasserverbrauch von KI-Modellen ist und methodische Hinweise dafür entwickelt, wie dieser erfasst werden kann. Sie zeigen dabei auf, dass etwa das Training von GPT-3 in den USA geschätzt etwa 700.000 Liter Frischwasser verbrauchte. Dazu kommen noch etwa 2,8 Millionen Liter Wasser, die in der Lieferkette, beispielsweise von Unterauftragnehmern, verbraucht wurden. Eine einzelne Anfrage durch uns Nutzer:innen verbraucht je nach Standort ca. einen halben Liter. Das Wasser wird dabei insbesondere für die Kühlung von Datencentern gebraucht, in welchen die Rechenoperationen der KI-Modelle durchgeführt werden. Die Autor:innen haben auch ermittelt, dass der Wasserverbrauch stark variieren kann und beispielsweise nachts besonders gering ist, weil dann weniger Kühlung erforderlich ist. Ebenso spielt der Standort der Rechenzentren eine Rolle. Auch die Methode des föderierten Lernens, bei dem der Trainingsprozess dezentral über mehrere Rechner stattfindet, benötigt vergleichsweise weniger Wasser. Neben diesen konkreten Schlussfolgerungen fordern die Forscher:innen auch hier mehr Transparenz über die Modelle und ihre Entwicklungsprozesse
Unternehmen müssen transparenter werden!
The Fight to Expose Corporations’ Real Impact on the Climate, Wired, 24.3.2023
Warum wissen wir eigentlich so wenig darüber, wie groß der ökologische Fußabdruck von KI-Systemen ist? Ein Grund dafür ist, dass Unternehmen bisher die Treibhausgasemissionen ihrer Produkte nicht erfassen müssen. Journalist Gregory Barber berichtet in diesem Artikel von den Bemühungen in den USA, das zu ändern. Die dortige Securities and Exchange Commission arbeitet gerade an verpflichtenden Regeln zur Emissionserfassung in Unternehmen. Dies sei für Investor:innen zur Risikoabschätzung notwendig. Auf bundesstaatlicher Ebene gibt es in Kalifornien ähnliche Bemühungen, die vor allem Konsument:innen bei ihren Kaufentscheidungen helfen sollen. Wichtig ist, dass beide Vorschläge auch die gesamte Produktkette erfassen – was auch für die KI-Entwicklung wichtig wäre, um ein wirklich umfassendes Bild der jeweiligen ökologischen Auswirkungen zu haben. Gerade diesen Punkt sehen viele Unternehmen, die sich dann für die Emissionen anderer in Verantwortung sehen würden, kritisch. Allgemein lässt sich sagen, dass diese Vorschläge nicht weit genug gehen, weil sie sich nur an besonders große Unternehmen richten. Die größere Transparenz kann aber hoffentlich als Ansporn funktionieren, endlich systemische Veränderung anzustoßen.
Stärken oder schwächen KI-Systeme die Arbeit von Klimaaktivist:innen?
Where AI and Climate Action meet, European Center for Not-for-Profit Law, 23.3.2023
Der wachsende Einsatz von KI hat Auswirkungen auf das Klima – aber auch auf die große Menge an engagierten Organisationen und Individuen, die sich für mehr Klimaschutz einsetzen. Die beiden Forscherinnen Eszter Hartay und Karolina Iwańska des European Center for Not-for-Profit Law haben sich dafür drei Themen angeschaut: Einsatz von KI-Systemen für Nachhaltigkeit, nachhaltige Entwicklung und Einsatz von KI-Systemen sowie Einsatz von KI gegen Klimaschützer:innen. Im letzteren Bereich befürchten die Autor:innen etwa einen zunehmenden Einsatz von KI-basierten Überwachungstools gegen Klimaaktivist:innen. Außerdem bemängeln sie, dass die Perspektive von Umweltschützer:innen zu wenig in die Entwicklung und den Einsatz von KI-Systemen einbezogen wird. Gleichzeitig gibt es aber Beispiele lokaler Umweltinitiativen, die KI-Systeme etwa zur Erhaltung der Biodiversität einsetzen. Zu den Empfehlungen, die sie machen, zählt daher auch eine bessere Vernetzung zwischen der digitalrechtlichen Zivilgesellschaft mit Umweltinitiativen, um voneinander zu lernen und gemeinsam für mehr Umweltschutz bei der KI-Entwicklung einzutreten.
Follow-Empfehlung: Anne Mollen
Anne Mollen arbeitet bei AlgorithmWatch und betreut dort unter anderem das Projekt SustAIn. Sie twittert unter anderem zu Algorithmen und Nachhaltigkeit.
Verlesenes: Maschinelles Lernen – oft auch nur Zufall?
Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.
Kommentar schreiben