So kann Künstliche Intelligenz Kinder benachteiligen!
Künstliche Intelligenz kann langfristige Auswirkungen auf die Zukunftschancen und Lebensumstände von Kindern und Jugendlichen haben. Zum Internationalen Tag der Kinderrechte vom 20. November beleuchten wir wie Algorithmen und KI Ungleichheiten verstärken können, die Kinder betreffen.
Die Digitalisierung kann einen wichtigen Beitrag dazu leisten, die Chancengerechtigkeit im Bildungsbereich zu erhöhen. Dabei kommen Kinder zunehmend auch mit algorithmischen und KI-Systemen in Berührung wie KI-gestützte Spielzeuge, personalisierte Lernsysteme oder Social-Media-Algorithmen. Diese Systeme können jedoch auch negative Auswirkungen haben und unter anderem Ungleichheiten verstärken und Voreingenommenheiten reproduzieren, die langfristige Auswirkungen auf die Zukunftschancen und Lebensumstände von Kindern haben.
Beispiel 1: Lernen mit KI
In vielen Klassenzimmern, unter anderem in der Schweiz, werden KI und algorithmische Systeme eingesetzt, etwa für Leistungsbewertungen, personalisiertes Lernen, Prüfungsaufsicht oder Schulklassenzuweisungen. Viele Schulen verwenden beispielsweise «adaptive Lernsysteme», also Computer-Programme, die Übungen automatisch an die Leistungen der Schüler anpassen sollen. Diese Programme können zwar eine gezielte Unterstützung bieten und zu mehr Chancengerechtigkeit beitragen, sie können aber auch bestehende Vorurteile verstärken.
Das bestätigt auch eine Studie des niederländischen Instituts für Menschenrechte. Die Studie weist darauf hin, dass KI-Lernsysteme bestimmte Schüler benachteiligen können, obwohl sie ihnen eigentlich personalisierte Bildungsinhalte bieten sollen: So bekamen Schüler aus einkommensschwachen Familien oder Schüler, deren Eltern oder Grosseltern in die Niederlande eingewandert sind, einfachere Aufgaben – unabhängig von ihren Leistungen. Die Studie zeigte auch, dass personalisierte Lernsysteme Schwierigkeiten haben können, das Niveau eines Kindes richtig einzuschätzen. Dies kann beispielsweise der Fall sein, wenn ein Kind auf eine andere Art und Weise lernt (etwa bei ADHS, Legasthenie oder Autismus) oder andere Wörter verwendet als die Gruppe der Lernenden, auf die das System trainiert ist. Wenn bei der Entwicklung und dem Testen von KI und Algorithmen die unterschiedlichen Voraussetzungen von Kindern nicht gebührend berücksichtigt werden, können sie bestehende Benachteiligungen verstärken, indem sie diese systematisieren und verbreiten. Dies kann zu Diskriminierungen und Chancenungleichheit führen.
Beispiel 2: Von Algorithmen bewertet und überwacht
Der Zugang zu höherer formaler Bildung hängt oft von der Beurteilung der Leistungen der Schüler ab. Immer öfter wird dabei die Leistungsbewertung durch KI-Systeme unterstützt oder gar vorgenommen. Das kann schiefgehen und sozioökonomische Ungleichheiten verfestigen. Zum Beispiel fielen in Grossbritannien während der Covid-19-Pandemie die Prüfungen aus, deren Resultate bestimmen, wer Zugang zu Universitäten erhält. Stattdessen liess die britische Regierung die Resultate anhand eines Algorithmus berechnen. Das System bediente sich an historischen Prüfungsresultaten der Schulen. Das führte dazu, dass viele Schüler mit guten Leistungen aus schlechter gestellten Schulen zu tiefe Noten erhielten. Gleichzeitig erhielten Schüler mit mittelmässigen Leistungen aus privilegierten Schulen (insbesondere Privatschulen) tendenziell bessere Noten. Somit benachteiligte der Algorithmus Schüler aus einkommensschwachen Schichten.
In immer mehr Bildungseinrichtungen werden Online-Prüfungen inzwischen durch KI-Tools (Proctoring-Software) überwacht. Solche Tools können Schüler aufgrund ihrer Hautfarbe oder Behinderung benachteiligen. So hat das niederländische Institut für Menschenrechte festgestellt, dass die Freie Universität Amsterdam Studenten durch den Einsatz einer Gesichtserkennungssoftware gegen Betrugsversuche bei Prüfungen diskriminiert hat. Das System meldete überproportional häufig Menschen mit einer dunkleren Hautfarbe als potenzielle Betrüger. Für Studenten mit einer Behinderung kann allein die Tatsache ihrer Behinderung ausreichen, um bei Prüfungen als betrugsverdächtig eingestuft zu werden. Da sich eine Behinderung auf die Art und Weise auswirken kann, wie eine Person sich, ihre Augen oder ihren Cursor bewegt und wie sie aussieht, besteht bei virtueller Prüfungssoftware ein Risiko, dass Studenten mit einer Behinderung als verdächtig eingestuft werden. Solche Fehler können Ängste und Traumata noch verschlimmern.
Aufgrund fehlender Transparenzregelungen ist es aktuell sehr schwierig herauszufinden, wo, warum und mit welcher Wirkung solche Systeme in der Schweiz eingesetzt werden. Es ist jedoch nicht auszuschliessen, dass sich algorithmische und KI-Systeme negativ auf das Leben von Kindern und Jugendlichen in der Schweiz auswirken.
Algorithmische Diskriminierung in der Schweiz: Der bestehende Diskriminierungsschutz in der Schweiz bietet keinen wirksamen Schutz vor Diskriminierung durch Algorithmen und KI und muss verstärkt werden. Gemeinsam mit 45 Organisationen hat AlgorithmWatch CH einen Appell an den Bundesrat lanciert. Dieser fordert, dass der Schutz gegen Diskriminierung durch Algorithmen und KI verstärkt werden muss.
Beispiel 3: KI für mehr Chancengerechtigkeit?
Auch in der Schweiz werden algorithmische Systeme mit der Absicht, die Chancengerechtigkeit zu stärken, eingesetzt. Seit 2023 wird in Uster ein Algorithmus verwendet, um die soziale Durchmischung von Schulklassen zu optimieren und so für alle Schüler einen Mehrwert zu ermöglichen. Solche Ansätze können vielversprechend sein, denn Algorithmen sind besonders gut darin, viele Daten zu verarbeiten und Muster zu erkennen – auch Diskriminierungsmuster.
Damit algorithmische Systeme tatsächlich zum Abbau von Ungleichheiten beitragen können, müssen sie erstens spezifisch zu diesem Zweck konzipiert und eingesetzt und zweitens auch ausführlich getestet werden. Im US-Bundesstaat Nevada wurde ein KI-basiertes System eingesetzt, um vorherzusagen, welche Schüler Schwierigkeiten haben könnten, ihren Schulabschluss zu machen. Die verantwortlichen Bildungsbehörden hofften, dass ein neues System ein Schritt in Richtung einer besseren Betreuung benachteiligter Kinder sein würde. Das KI-System berechnete allerdings, dass die frühere Schätzung des Bundesstaates über die Anzahl der Kinder, die in der Schule Schwierigkeiten haben würden, zu hoch sei. Der Algorithmus reduzierte die Zahl der betroffenen Schüler dabei auf weniger als die Hälfte und schloss obdachlose Schüler aus der Risikogruppe aus. Zuvor galten in Nevada alle Schüler aus Familien mit niedrigem Einkommen als «gefährdet», akademische und soziale Probleme zu bekommen. Der Algorithmus legte die Messlatte viel höher.
Beispiel 4: Wenn Kinder von Social Media lernen
Gemäss der letzten nationalen Studie zu Online-Aktivitäten von Jugendlichen HBSC nutzen in der Schweiz über 80 Prozent der 15-Jährigen jeden Tag Social-Media-Plattformen. Auf Social Media können ihnen dabei auch problematische Inhalte begegnen. So zeigt eine Studie, dass Social-Media-Algorithmen extremistische Inhalte, wie etwa frauenfeindliche Beiträge, verstärken. Dadurch werden diskriminierende Ideologien für junge Menschen normalisiert. Social-Media-Algorithmen können außerdem auch Auswirkungen auf die psychische und körperliche Gesundheit von Kindern und Jugendlichen haben.
In den USA haben Eltern, Schulen und Behörden wegen steigenden psychischen Problemen von Jugendlichen gegen Instagram, Snapchat und weitere Plattformen gerichtliche Klagen eingereicht. Gemäss SRF berichtete die Studentin Alexis Spence, dass der Instagram-Algorithmus ihr zunächst Inhalte zu Fitness und Models anzeigte, die sich im Laufe der Zeit zu Beiträgen über Essstörungen entwickelten. Alexis fühlte sich zunehmend wertlos und hässlich. Schliesslich musste Alexis in einer psychiatrischen Klinik behandelt werden – magersüchtig und mit Suizidgedanken. Auch in Frankreich haben vor kurzem sieben Familien nach dem Suizid zweier Teenager gegen TikTok geklagt. In der Wissenschaft gibt es derzeit keine abschliessende Evidenz dazu, inwiefern und auf welche Art Social Media die psychische Gesundheit von Kindern und Jugendlichen beeinträchtigen. Deshalb ist zentral, dass mehr Forschung dazu ermöglicht wird – und Rahmenbedingungen (von Sensibilisierung und Prävention der Kinder und Jugendlichen und der Eltern bis zu Regulierungen der Plattformen) sichergestellt werden, um solche Schicksale zu verhindern.
Kinder und Jugendliche sind zudem besonders von schädlichen Inhalten, wie etwa Deep Fakes (realistisch wirkende, aber KI-generierte Inhalte wie Fotos und Videos) betroffen und können sich weniger gut dagegen wehren. In Spanien sorgte ein solcher Fall für Schlagzeilen: In einer spanischen Kleinstadt haben mehrere Schüler generative Modelle verwendet, um manipulierte Nacktbilder ihrer Mitschüler zu erstellen. Die negativen Auswirkungen dieser KI-Inhalte verschärfen sich insbesondere dann, wenn genau solche Inhalte durch die Social-Media-Algorithmen verstärkt und massenhaft verbreitet werden.
Diese Beispiele verdeutlichen, wie der Einsatz von Algorithmen und KI bereits heute nicht immer die Chancengerechtigkeit erhöht, sondern auch negative Auswirkungen auf junge Menschen und ihre Rechte haben kann. Neben Kindern und Jugendlichen kann der Einsatz solcher Systeme viele weitere Bevölkerungsgruppen diskriminieren.
________________________________
Wir können nur mit Deiner Hilfe alles schaffen!
Schließe Dich deshalb unserer Friedensmission an!