Science Checker: Behauptungen mit Open Access und künstlicher Intelligenz prüfen

Ein Interview mit Sylvain Massip

Was ist der Science Checker?

Im Juli 2021 ist der Science Checker in einer Beta-Version online gegangen. In dieser befasst er sich nur mit Gesundheitsthemen. Er soll im ersten Schritt Wissenschaftsjournlist:innen und anderen wissenschaftlichen Faktenchecker:innen dabei helfen, die Wahrscheinlich einer Behauptung zu überprüfen. 3 Millionen Open-Access-Artikel aus PubMed (von 36 Millionen) dienen dem Open-Source-Tool als Datengrundlage. Er setzt künstliche Intelligenz ein, um zu prüfen, ob eine Behauptung von der wissenschaftlichen Literatur gestützt, diskutiert oder abgelehnt wird. Im Ergebnis zeigt er an, wie viele und welche Dokumente zum Thema er gefunden hat, wann diese veröffentlicht wurden und inwiefern sie die Behauptung wahrscheinlich machen. Die Leitfrage lautet dabei immer: “Was sagt die Forschungsliteratur dazu?“. In der praktischen Bedienung des Science Checkers müssen dabei zunächst drei Felder ausgefüllt werden: Agent, Effekt (verstärken, verursachen, vorbeugen, heilen) und Krankheit.

Um den Science Checker besser vorstellbar zu machen, hier ein paar Beispiele: “Führt Koffein zu mehr Intelligenz?” (leider unwahrscheinlich). Zu dieser Fragestellung findet das Tool drei Quellen in der Datenbank.

Science Checker

5933 Quellen gibt es auf die Frage, ob Rauchen Krebs verursacht. Davon sind 80% bestätigend und 20% negativ. Zu der Frage „Beugt Sport Herzinfarkten vor?“ findet der Science Checker 420 Quellen, wovon zunächst aber immer nur die ersten 20 relevanten in die Wahrscheinlichkeitsberechnung einfließen. Klickt man auf “Hinzufügen”, kann man die nächsten 20 Artikel hinzuzufügen oder mit einem Klick auf “Alle” die Gesamtheit berechnen. Da letzteres etwas Zeit in Anspruch nimmt, geht eine Benachrichtigung per E-Mail raus, sobald das Ergebnis vorliegt.

Den Science Checker und die Idee hinter dem Werkzeug haben wir bereits im Artikel „Opscidia: Fake News per Open Access bekämpfen” vorgestellt. Um einen praktischen Eindruck von den Möglichkeiten des Tools zu bekommen, empfehlen wir, ihn einfach selbst auszuprobieren: zum Science Checker.

Im Interview sprechen wir nun mit Sylvain Massip, einem von fünf Mitarbeiter:innen im Science-Checker-Team, über seine Erfahrungen aus den ersten fünf Monaten, in denen das Tool in einer Beta-Version online ist. Er erläutert dabei, an wen sich der Science Checker richtet, wie er sich finanziert und welchen Beitrag Bibliotheken leisten können.

Was hat sich getan, seit ihr vor einem Jahr hier auf ZBW MediaTalk eure Idee vorgestellt habt, Open Access (OA) zur Bekämpfung von Fake News zu nutzen?

Wir haben jetzt eine Beta-Version des Science Checkers entwickelt, die für jede:n online verfügbar und nutzbar ist. Es handelt sich dabei um ein Tool für Journalist:innen und Faktenchecker:innen, das mit einer Pipeline aus künstlicher Intelligenz (KI) arbeitet, die auf Anfrage der:des Nutzenden die für sie:ihn interessanten Artikel abruft und sie als unterstützend oder widersprüchlich zu der eingegebenen ursprünglichen Behauptung oder in einigen Fällen als neutral einstuft. Die für den Science Checker verwendeten Daten stammen aus einer Ansammlung von Open-Access-Artikeln aus Europe PMC.

Für wen habt ihr den Science Checker entwickelt?

Unser erstes Zielpublikum sind Wissenschaftsjournalist:innen und wissenschaftliche Faktenchecker:innen. Aber dem Science Checker wohnt auch der Wunsch von Opscidia inne, wissenschaftliche Literatur über akademische Kreise hinaus zugänglich zu machen. Deshalb streben wir eine breitere Nutzung an, die allen neugierigen Menschen offensteht.

Der Science Checker wurde im Juli 2021 eingeführt. Er ist also jetzt seit etwa fünf Monaten online. Was sind eure ersten Erfahrungen und Rückmeldungen? Was waren eure größten Herausforderungen?

Seit der Veröffentlichung des Science Checkers wurde er von mehr als 400 Personen ausprobiert. Die Akzeptanz ist in der Tat relativ gering, aber das war bei einer Beta-Version zu erwarten. Unsere größte Herausforderung besteht nun darin, die richtigen Partner:inen zu finden, die uns in zweierlei Hinsicht unterstützen: bei der Erhöhung der Genauigkeit des Tools und bei seinem Wachstumspotenzial.

Welche Rolle spielt künstliche Intelligenz?

Vereinfacht gesagt, wird die KI von unseren Entwickler:innen darauf trainiert, Artikel zu lesen, sie zu verstehen und die wesentlichen Informationen aus ihnen herauszuholen. Dank dieses vorgelagerten Prozesses kann die im Science Checker verwendete KI in kürzester Zeit Millionen von Artikeln analysieren, um seinen Nutzer:innen eine Antwort auf Grundlage vieler verschiedener Informationsquellen zu geben.

Warum ist es so wichtig, dass es praktische Anwendungsbeispiele für die Nutzung von Open Access gibt?

Open Access ist ein wichtiges Thema unserer Zeit. Die freie Verbreitung von akademischem Wissen ist für viele Themen, von der Gesundheitskrise bis zur nachhaltigen Entwicklung, von größter Bedeutung. Die Open-Access-Gemeinschaft muss zeigen, wie wertvoll sie ist, dass ihre Tätigkeit auch außerhalb der Wissenschaft und im Zusammenhang mit globalen Herausforderungen von Nutzen ist. Open Access sollte nicht ein Thema für akademische Aktivist:innen bleiben, sondern sich zum Wohle der Allgemeinheit verbreiten.

Aktuell arbeiten fünf Personen am Science Checker. Wie wird er finanziert? Wer bezahlt die Rechnung?

Ja, es sind in der Tat fünf Personen, die an dem Projekt beteiligt sind, allerdings auf unterschiedliche Weise. Ein Hauptentwickler hat den Science Checker geprägt, Loic Rakotoson, der mehr als vier Monate lang Vollzeit daran gearbeitet hat. Aber er ist nicht der einzige Entwickler, der daran mitgearbeitet hat. Frejus Laleye und Timothée Babinet haben einen Teil des vom Science Checker verwendeten Codes entwickelt. Charles Letaillieur, technischer Direktor von Opscidia, hat das Projekt technisch geleitet und ich, Sylvain Massip, Geschäftsführer von Opscidia, habe den Großteil des wissenschaftlichen Designs übernommen. Darüber hinaus habe ich zusammen mit Enzo Rodrigues viel Arbeit in die Werbung für den Science Checker auf Konferenzen und in den sozialen Medien gesteckt.

Finanziell wurde diese Beta-Version des Science Checkers als Projekt entwickelt, das nun abgeschlossen ist. Dieses Projekt wurde von der Vietsch-Stiftung finanziert, der wir an dieser Stelle herzlich für ihre Unterstützung danken möchten.

Wir sehen es als einen ersten Schritt, und jetzt, da wir einen erfolgreichen ersten Entwurf gemacht haben, suchen wir nach der Weiterfinanzierung, um den Prozess weiterzuführen und eine zweite Version unseres Science Checkers zu erstellen.

Wie könnt ihr die Nachhaltigkeit des Projekts gewährleisten?

Im Moment versuchen wir, die Nachhaltigkeit zu gewährleisten, indem wir uns bei der Wartung auf die wichtigsten Dinge konzentrieren, da wir dies mit den eigenen Mitteln von Opscidia tun. Für die Zukunft streben wir jedoch eine:n große:n Partner:in an, z. B. ein großes Medienunternehmen, um die Entwicklung, Kommunikation und Wartung zu finanzieren.

Wie können Bibliotheken und Informationsinfrastrukturen euch unterstützen? Welche Rolle spielen sie bei dem Projekt?

Zunächst einmal können Bibliotheken Open Science, Opscidia und andere finanzieren, um sicherzustellen, dass Initiativen wie der Science Checker über die benötigten Daten verfügen. Wir sind nämlich direkt von den Informationsquellen, ihrer Quantität und ihrer Qualität abhängig.

Sie können uns auch helfen, indem sie den Science Checker und die anderen Aktivitäten von Opscidia bekanntmachen, und natürlich sind wir gerne bereit, mit allen interessierten Parteien zusammenzuarbeiten, um das Projekt fortzuführen.

Sucht ihr noch nach Partner:innen/Unterstützung für den Science Checker? Wen? Wie kann man euch unterstützen?

Wir wollen den Science Checker weiterentwickeln, um die Ergebnisse zu verbessern und seine Leistung zu optimieren. Vielleicht müssen wir auch zusätzliche Funktionen für das Tool entwickeln, wenn wir andere Bedürfnisse der Nutzer:innen feststellen. Daher suchen wir weiterhin nach Finanzierungsmöglichkeiten, um uns in dieser Richtung zu unterstützen. Darüber hinaus sind wir sehr offen für potenzielle technologische Partnerschaften, wenn sie für die Weiterentwicklung des Science Checkers relevant sind. Außerdem kann uns jede:r unterstützen, indem sie:er uns Feedback zu ihrer:seiner Nutzungserfahrung gibt. Dies ist eine wichtige Informationsquelle für uns und hat es uns sehr oft ermöglicht, unsere Tools an die Bedürfnisse der Nutzer:innen anzupassen.

Ist das System hinter dem Science Checker offen und kann es von anderen (weiter-)verwendet werden?

Ja, absolut. Unser System ist völlig offen, aber wir sind nicht Eigentümer der Daten. Sie stammen aus der Datenbank Europe PMC. Das System ist Open Source, der Quellcode ist in unserem Github für jede:n zugänglich und kann frei weiterverwendet werden, solange es sich um eine nich-kommerzielle Anwendung handelt.

Was ist eure Vision für den Science Checker? Wo seht ihr ihn in, sagen wir, fünf Jahren?

Was die Softwareentwicklung betrifft, so bestehen die nächsten Ziele darin, den von uns verwendeten Datensatz zu vergrößern, ihn präziser und allgemeiner zu machen. Damit meinen wir, dass wir ein Werkzeug anstreben, das in der Lage ist, dieselbe Arbeit für alle wissenschaftlichen Bereiche und nicht nur, wie aktuell, für die medizinischen Wissenschaften zu leisten.

Was die Nutzung betrifft, so wollen wir mit großen Medien zusammenarbeiten, damit unser Science Checker täglich zur Faktenüberprüfung eingesetzt werden kann.

Dieser Text ist eine Übersetzung aus dem Englischen.

Das könnte Sie auch interessieren:

• Opscidia: Fake News per Open Access bekämpfen
• Interview: Open Access-Preprints werden häufiger zitiert und geteilt
• Open Access: AfricArXiv erleichtert den Wissensaustausch zwischen Afrika und Europa
• Open Access goes Barcamp, Teil 1: Ein neuer Vernetzungspunkt der Open-Access-Community