Diskriminierung durch KI: Inwiefern Bibliotheken betroffen sind und wie Mitarbeitende das richtige Mindset finden

Künstliche Intelligenz (KI) ist aus dem modernen Wissenschaftssystem nicht mehr wegzudenken. Wer aber stellt sicher, dass solche KI-Systeme niemanden diskriminieren und falsche Schlüsse aus vorliegenden Daten ziehen? Und was haben Bibliotheken damit zu tun?

Ein Interview mit Gunay Kazimzade (Weizenbaum-Institut für die vernetzte Gesellschaft – Das Deutsche Internet-Institut)

Gunay, in deiner Forschung beschäftigst du dich mit der Diskriminierung durch KI-Systeme. Was sind typische Beispiele dafür?

Typischerweise treten Vorurteile in allen Formen der Diskriminierung in unserer Gesellschaft auf, z. B. in politischen, kulturellen, finanziellen oder sexuellen Kontexten. Diese manifestieren sich wiederum in den gesammelten Datensätzen, Strukturen und Infrastrukturen rund um Daten, Technologie und Gesellschaft. Damit stellen sie soziale Normen und das Entscheidungsverhalten in bestimmten Datenpunkten dar. KI-Systeme, die mit diesen Datenpunkten trainiert wurden, zeigen Vorurteile in verschiedenen Bereichen und Anwendungen.

So neigen beispielsweise Gesichtserkennungssysteme, die auf voreingenommenen Daten beruhen, dazu, farbige Menschen in verschiedenen Bildverarbeitungsanwendungen zu diskriminieren. Laut einer Studie des MIT Media Lab unterscheidet sich die Genauigkeit von Bildverarbeitungsmodellen bei weißen Männern und schwarzen Frauen drastisch. Im Jahr 2018 hat Amazon sein System für Personaleinstellungen “plattgemacht”, das damit begonnen hatte, weibliche Bewerbende für technische und hochrangige Positionen auszuschließen. Dieses Ergebnis resultierte aus der Unternehmenskultur, die traditionell männliche Kandidaten gegenüber weiblichen in diesen speziellen Positionen bevorzugte. Diese Beispiele machen deutlich, dass KI-Systeme nicht objektiv sind, und durch sie menschliche Vorurteile, die wir in der Gesellschaft haben, auf die technologische Ebene übertragen werden können.

Wie können Mitarbeitende von Bibliotheken oder digitalen Infrastrukturen für diese Art von Diskriminierung ein Bewusstsein entwickeln? Inwiefern können sie selbst aktiv werden?

Voreingenommenheit ist eine unvermeidliche Folge der situierten Entscheidungsfindung. Die Entscheidung, wer und wie Daten klassifiziert, welche Datenpunkte in das System aufgenommen werden, ist für die Arbeit von Bibliotheken nicht neu. Bibliotheken und Archive sind nicht nur die Anbieter von Datenspeicherung, -verarbeitung und -zugängen. Sie sind kritische Infrastrukturen, die Informationen verfügbar und auffindbar machen und dabei die wünschenswerte Vision haben, diskriminierende Ergebnisse dieser Datenpunkte zu beseitigen.

Stellen Sie sich eine Situation vor, in der Forschende an die Bibliothek herantreten und um Bilder für das Training eines Gesichtserkennungsmodells bitten. Die Qualität und Vielfalt dieser Daten wirkt sich direkt auf die Ergebnisse der Forschung und das auf der Grundlage dieser Daten entwickelte System aus. Die Vielfalt der Bilder (Youtube) wurde kürzlich in der Studie “Gender Shades” von Joy Buolamwini vom MIT Media Lab untersucht. Die Frage ist hier, ob das Bibliothekspersonal demografische Verzerrungen in den Datensätzen erkennen konnte, bevor die Gender-Shades-Studie veröffentlicht wurde. Wahrscheinlich nicht.

Die richtige Einstellung dazu kommt aus dem Bewusstsein. Bewusstsein ist die soziale Verantwortung und Selbstbestimmung, die mit kritischen bibliothekarischen Fähigkeiten und Fachkenntnissen einhergeht. Sich nur auf Metadaten zu verlassen, wäre nicht notwendig, um Verzerrungen in Datensammlungen zu beseitigen. Die Diversität des Personals und die kritischen, fachspezifischen Fähigkeiten und Werkzeuge sind entscheidend für die Analyse der digitalisierten Sammlungen des Bibliothekssystems. Die Schulung des Bibliothekspersonals, kontinuierliche Weiterbildung und Evaluierung sollten die primäre Strategie von Bibliotheken sein, um Verzerrungen in Bibliotheksinformationssystemen zu erkennen, zu verstehen und abzuschwächen.

Wenn man KI-Systeme, -Algorithmen und Designs entwickeln möchte, die nichtdiskriminierend sind, spielt das richtige Mindset eine große Rolle. Wie bekommt man es? Welche Faktoren sind wichtig dafür?

Ob bei Entwickler:innen, Anwender:innen, Anbieter:innen oder anderen Beteiligten, die richtige Einstellung beginnt mit

einem klaren Verständnis für den Einsatz der Technologie, für ihre Fähigkeiten und ihre Grenzen;
der Vielfalt und Einbeziehung in das Team, dem Stellen der richtigen Fragen zur richtigen Zeit;
der Berücksichtigung der Vielfalt von Gedanken, Hintergründen und Erfahrungen bei der Zusammensetzung des Teams;
dem Verstehen der Aufgabe, der Beteiligten und des Fehler- und Schadenspotenzials;
dem Prüfen von Datensätzen unter Berücksichtigung der Datenherkunft. Was sollen die Daten darstellen?
der Überprüfung der Qualität des Systems durch qualitative, experimentelle und andere Methoden sowie Umfragen;
der kontinuierlichen Überwachung, einschließlich Kundenfeedback;
einem Plan, um Fehler und Schäden zu erkennen und darauf zu reagieren, sobald sie auftreten.

Daher sollte eine langfristige Strategie für die Verwaltung von Bibliotheksinformationssystemen Folgendes beinhalten

Transparenz
- Transparente Prozesse
- Erklärbarkeit/Interpretierbarkeit für jede:n Mitarbeiter:in/Stakeholder:in

Ausbildung
- Spezielle Bildung/Ausbildung
- Universitäre Ausbildung

Vorschriften
- Standards/Leitlinien
- Qualitätsmetriken

Jede:r kennt es: Du suchst dir ein Buch bei einer Online-Plattform aus und bekommst weitere vorgeschlagen à la “Menschen, die dieses Buch kauften, kauften auch XYZ”. Sind solche Vorschlags- und Empfehlungssysteme, die es ja auch in wissenschaftlichen Bibliotheken geben kann, diskriminierend? Inwiefern? Und wie können wir sie gerechter machen?

Mehrere Forschungsergebnisse legen nahe, Empfehlungen fairer zu gestalten und die von Technologieanbieter:innen geschaffenen “Filterblasen” zu vermeiden. Bei Empfehlungen gehören Transparenz und Erklärbarkeit zu den wichtigsten Techniken, um dieses Problem anzugehen. Die Entwickler:innen sollten die Erklärbarkeit der von den Algorithmen gemachten Vorschläge berücksichtigen und die Empfehlungen für den:die Nutzer:in des Systems begründbar machen. Es sollte für den:die Benutzer:in transparent sein, nach welchen Kriterien diese spezielle Buchempfehlung gegeben wurde und ob sie auf dem Geschlecht, der Rasse oder anderen sensiblen Merkmalen beruht. Das Bibliothekspersonal oder die Mitarbeitenden der digitalen Infrastruktur sind die Hauptakteur:innen in dieser Technologieeinführungsphase. Sie sollten sich dessen bewusst sein und die Entscheidungsträger:innen darin bestärken, die Technologie einzusetzen, die die spezifischen Funktionen für Erklärbarkeit und Transparenz in den Bibliothekssystemen beinhaltet.

Wenn ein Institut, eine Bibliothek oder ein Repositorium herausfinden möchten, ob ihre Website, ihr Bibliothekskatalog oder eine andere Infrastruktur, die sie anbieten, diskriminierend sind, wie können sie das anstellen? Woran erkenne ich, wer diskriminiert wird? Wo kann ich einen Diskriminierungs-Check-up machen lassen?

Erstens sollte das “Check-up” damit beginnen, die Qualität der Daten durch quantitative und qualitative, gemischte experimentelle Methoden zu überprüfen. Außerdem gibt es mehrere frei zugängliche Methoden und Werkzeuge für die Fairnessprüfung und die Erkennung/Entschärfung von Vorurteilen in verschiedenen Bereichen. AI Fairness 360 beispielsweise ist ein Open-Source-Toolkit, das dabei hilft, Diskriminierung und Voreingenommenheit in maschinellen Lernmodellen während des gesamten Lebenszyklus von KI-Anwendungen zu untersuchen, zu melden und abzuschwächen.

Ein weiteres nützliches Tool ist “Datasheets for datasets”, das dazu dient, die für das Training und die Bewertung von Modellen für maschinelles Lernen verwendeten Datensätze zu dokumentieren. Dieses Tool ist sehr wichtig für die Entwicklung von Metadaten für Bibliotheks- und Archivsysteme, die für das Modelltraining weiterverwendet werden können.

Insgesamt beginnt alles mit dem richtigen Mindset und dem Bewusstsein für die Herausforderung der Verzerrung in bestimmten Bereichen.

Dieser Text ist eine Übersetzung aus dem Englischen.

Zum Weiterlesen

Wir sprachen mit:

Gunay Kazimzade ist Doktorandin im Bereich Künstliche Intelligenz am Weizenbaum-Institut für die vernetzte Gesellschaft in Berlin, an dem sie derzeit in der Forschungsgruppe “Kritikalität von KI-basierten Systemen” arbeitet. Außerdem ist sie Doktorandin der Informatik an der Technischen Universität Berlin. Ihre Forschungsschwerpunkte sind geschlechtsspezifische und rassistische Vorurteile in der KI, Inklusivität in der KI und KI-gestützte Bildung. Sie ist TEDx-Sprecherin, Gewinnerin des Presidential Award for Youth in Aserbaidschan und des AI Newcomer Award in Deutschland. Gunay Kazimzade ist auch auf Google Scholar, ResearchGate und LinkedIn zu finden.
Porträt: Weizenbaum Institut©

Diesen Blogpost teilen: