Schwachstellen in der Klimapolitik aufdecken: KI-Tools für Einblicke in die Inklusivität der Klimapolitik

Die Folgen der Klimakrise betreffen Menschen auf der ganzen Welt, aber es ist bekannt, dass Menschen in prekären Lebenslagen (aufgrund von Faktoren wie Alter, Geschlecht, geografischer Lage, Gesundheitszustand oder indigener oder Minderheitenzugehörigkeit) einer erhöhten Belastung ausgesetzt sein können und unverhältnismäßig stärker betroffen sind als andere Bevölkerungsgruppen.

Mit der Unterzeichnung des Pariser Abkommens von 2015 verpflichteten sich die Staaten, diese unterschiedliche Betroffenheit zu berücksichtigen und gefährdete Gruppen bei der Integration von Anpassungsmaßnahmen in relevante sozioökonomische und umweltpolitische Maßnahmen gegebenenfalls einzubeziehen (Artikel 7.5). Diese Überlegungen spiegeln sich üblicherweise in den Klimapolitikdokumenten der Regierungen wider, beispielsweise in den national festgelegten Beiträgen (NDCs). Obwohl die Informationen verfügbar sind, gestaltet es sich schwierig, ein umfassendes Verständnis davon zu erlangen, inwieweit verschiedene Gruppen in der Klimapolitik der einzelnen Länder berücksichtigt werden, da die manuelle Durchsicht der Dokumente und die Identifizierung von Verweisen auf verschiedene Gruppen zeit- und ressourcenintensiv sein kann. So können beispielsweise Details, die für eine bestimmte demografische Gruppe relevant sind, in Textabschnitten oder ganzen Dokumenten versteckt sein, die aufgrund ihrer Titel oder prominenten Schlüsselwörter nicht zu erwarten sind. Darüber hinaus werden Dokumente gelegentlich als Scans und nicht als PDFs oder ähnliches gespeichert, sodass die Nutzer nicht einmal die Möglichkeit haben, das Dokument nach Schlüsselwörtern zu durchsuchen. Diese Komplexität verdeutlicht den Bedarf an fortschrittlichen Analysewerkzeugen und -methoden, um eine umfassende Untersuchung der Klimapolitik und ihrer Inklusivität für verschiedene gesellschaftliche Gruppen zu gewährleisten.

Um diese Wissenslücke zu schließen, haben wir einen Prototyp für den Einsatz von KI zur systematischen Überprüfung von Referenzen und konkreten Maßnahmen in Bezug auf gefährdete Gruppen in klimapolitischen Dokumenten entwickelt. Die Ergebnisse sind zwei Apps, die einen einfachen Zugriff auf zusammengefasste Informationen zu Referenzen und Maßnahmen für verschiedene gefährdete Gruppen ermöglichen. Das Projekt wurde gemeinsam mit unseren Kollegen des NDC-Assist-Programms der GIZ Kenia und des CRAWN Trust initiiert und zusammen mit Mark Tyrrell von GFA umgesetzt.

Gruppen in gefährdeten Situationen definieren

Um die Anfälligkeit gegenüber dem Klimawandel besser zu verstehen, konzentrierten wir uns zunächst auf Frauen, Kinder und Jugendliche. Da wir die Notwendigkeit einer umfassenderen Perspektive erkannten, wandten wir uns einem intersektionalen Ansatz zu, fanden jedoch keine bestehende Taxonomie, die unserer umfassenden Vision entsprach. Daher nutzten wir Erkenntnisse aus dem von der GIZ geleiteten Sektorprogramm zu Menschenrechten und unsere Erfahrungen in der Politikanalyse, um eine neue Taxonomie zu entwickeln.

Dieses Rahmenwerk berücksichtigt Geschlecht, Alter, sozioökonomischen Status, Beruf, Gesundheit und geografische Faktoren, um die differenzierten Wechselwirkungen dieser Elemente und ihren Einfluss auf die Anfälligkeit gegenüber dem Klimawandel zu erfassen. Diese intersektionale Taxonomie ist für unser Projekt von Bedeutung und trägt zu einem besseren Verständnis der komplexen Herausforderungen bei, denen sich verschiedene Bevölkerungsgruppen aufgrund des Klimawandels gegenübersehen. Folgende Gruppen wurden definiert: 

Training des KI-Klassifikators

Um vorherzusagen, ob ein bestimmter Absatz einen Bezug zu einer der oben genannten gefährdeten Gruppen enthält, haben wir einen eigenen Trainingsdatensatz erstellt, um ein vortrainiertes  Satztransformationsmodell  (d. h. ein Deep-Learning-Modell zur Kodierung und Transformation von Sätzen oder Textabsätzen in Vektoren fester Dimension) zu optimieren .  Für die Feinabstimmung des vortrainierten Modells auf unseren Trainingsdaten verwendeten wir  SetFit , ein effizientes und promptfreies Framework für die Feinabstimmung von Satztransformationsmodellen mit wenigen Beispielen. Der Vorteil von SetFit liegt darin, dass es mit sehr wenigen Datenpunkten pro Klasse eine hohe Genauigkeit erzielt und sich daher gut für kleinere Datensätze eignet.

Die erste Runde der Trainingsdaten wurde manuell von einem vierköpfigen Team zusammengestellt und bestand aus Absätzen zu den verschiedenen Gruppen, die aus klimapolitischen oder ähnlichen Dokumenten entnommen waren. Die manuelle Datenerfassung in dieser ersten Runde trug zur Sicherstellung der Qualität der Trainingsdaten bei. Wir begannen mit der Sammlung von zehn Absätzen pro Gruppe.

Um die Leistungsfähigkeit des Modells zu steigern, wurde der Datensatz später auf mindestens 20 Beispiele pro Gruppe erweitert und multilabel-fähig gemacht (d. h., mehrere Gruppen können im selben Absatz erwähnt werden). Dadurch entstand ein finaler Datensatz mit 475 Absätzen. Anstatt von Grund auf neu zu beginnen, nutzten wir „aktives Lernen“. Wir verwendeten die erste Version des feinabgestimmten Modells, um vorherzusagen, ob Absätze aus Klimadokumenten auf verschiedene Gruppen Bezug nehmen, und annotierten anschließend eine bestimmte Anzahl von Absätzen, die sich voraussichtlich auf eine bestimmte Gruppe beziehen. Zusätzlich zur Kennzeichnung, ob die Absätze einen Bezug zu einer vulnerablen Gruppe enthalten, prüften wir auch, ob es sich bei dem Bezug um eine konkrete Maßnahme/ein konkretes Ziel oder lediglich um eine allgemeine Bezugnahme handelt.

Nach der zweiten Feinabstimmungsrunde verbesserte sich die Modellleistung weiter. Allerdings variiert die Leistung je nach Klasse. Beispielsweise erzielt das Modell gute Ergebnisse bei Referenzen zu „Frauen und anderen Geschlechtern“ sowie „Kindern“ und klassifiziert unsere Testbeispiele in 93 % bzw. 89 % der Fälle korrekt (F1-Score). Bei der Klasse „Menschen mit Behinderungen“ hingegen schneidet es schlechter ab und erkennt nur 44 % der Fälle (F1-Score). Die Klasse „Menschen mit Vorerkrankungen“ ist die einzige, die überhaupt keine guten Ergebnisse liefert. Dies könnte durch eine Optimierung des Frameworks und die Erhebung weiterer Trainingsdaten im Rahmen der Prototypentwicklung verbessert werden. Den vollständigen Modellbericht und die Leistung jeder Klasse finden Sie unten.