„Sprachmodelle sind keine Suchmaschinen oder Datenbanken. Sie berechnen das statistisch wahrscheinlichste nächste Wort. Sie wissen, wie eine wissenschaftliche Quelle aussieht (…) und bauen eine grammatikalisch und thematisch perfekte Attrappe.“ – so lautet ein Teil des Outputs von Google Gemini auf die Frage „Gibt es Fälle, in denen KI wissenschaftliche Quellen erfunden hat?“.
Wie akut das Problem „halluzinierter“ wissenschaftlicher Quellen ist, zeigt eine im Juli dieses Jahres auf arxiv.org veröffentlichte Studie von Forschern aus New Mexico, USA, mit dem Titel „The Case of the Mysterious Citations“ (Link zum PDF). Grundlage der Untersuchung sind die Tagungsbücher (engl. proceedings) von insgesamt vier IT-Konferenzen – jeweils aus den Jahren 2021 und 2025, d.h. vor und nach Beginn der regelmäßigen Verwendung von LLMs zur Unterstützung bei wissenschaftlichen Publikationen. Die angewandte Methode setzt auf maschinenbasiertes Auslesen der zugrundeliegenden PDF-Files und deren Abgleich mit wissenschaftlichen Plattformen wie Google Books, ArXiv, OpenAlex u.a. – ergänzt durch händisches Prüfen von Quellenangaben.
Wie viele Studien sind von KI-Manipulation betroffen?
Die Resultate fallen erschreckend aus: Rund 2-6 Prozent der in den Tagungsbüchern aus 2025 abgedruckten wissenschaftlichen Papiere enthalten sogenannte „fully mysterious citations“. Dies sind Zitate, deren angebliche Quelle überhaupt nicht existiert bzw. die auf einen Text verweisen, der thematisch irrelevant ist oder sogar von einem anderen als dem genannten Autor stammt. Betrachtet man die absoluten Fälle halluzinierter bzw. durch KI manipulierter Zitate, so kommt man bei einer der vier analysierten Textsammlungen auf bis zu 20 solcher „mysterious citations“ – unterschiedlich stark betroffen sind alle vier Konferenzen. Hinzu kommen kleinere Unschärfen wie veränderte Titel oder falsche Personenamen, die quantitativ allerdings wohl seltener sind als die vollumfänglichen Pseudo-Zitate. Im Prä-KI-Vergleichsjahr 2021 fanden die Forscher hingegen keine nennenswerten Verfälschungen von Titel, Zitaten oder Quellenangaben.
Interessant ist sicherlich der Befund, dass der Großteil der mysteriösen Zitate auf eine relativ kleine, aber stark belastete Zahl von Publikationen entfällt: „In total, 13 of the 353 published papers were found to contain a total of 38 mysterious citations.“ (Seite 4 im verlinkten PDF) Klingt so, als ob es bei diesem Phänomen besonders aktive „Intensivtäter“ gibt, die sich bei der Generierung ihrer Publikationen sehr weitgehend auf KI verlassen, vom AI-Hirn also längst nicht nur Grammatik, Tippfehler oder Formalitäten prüfen lassen.
KI-autorisierte Dokumentenfälschung?
Besonders gruselig: In einem Fall scheinen die Forscher Evidenz dafür gefunden zu haben, dass KI-Tools bei der Generierung wissenschaftlicher Texte nicht nur Quellen oder Zitate eigenmächtig verändern, sondern autonom „Fake-Studien“ generieren, auf externen Plattformen hochladen und dann aus Texten verlinken – man kann hier also von KI-autorisierter Dokumentenfälschung sprechen. In diesem Fall verwies die „mysterious citation“ auf ein sehr dubioses File auf ResearchGate (Link), das überwiegend aus „leeren“ Grafiken und Auflistungen statt Textabsätzen bestanden haben soll (Screenshot usw. auf Seite 5).
Bei der Ursachenforschung sollte man ggf. als Möglichkeit in Betracht ziehen, dass Papiere von Akteuren wie den oben genannten „Intensivtätern“ auch dadurch entstanden sein könnten, dass hier der Prozess ergebnisoffener Forschung auf den Kopf gestellt wurde, indem man Prompts formuliert hatte wie: „Hallo KI. Ich will belegen, dass X gleich Y ist. Suche die passenden Quellen heraus und generiere mir einen Text mit 5.000 Wörtern im Stil einer wissenschaftlichen Arbeit, der diese Hypothese untermauert“. Da eine Künstliche Intelligenz relevante Online-Quellen offenbar nicht nur identifiziert und verwertet, sondern – im Falle mangelnder online verfügbarer Daten – die benötigten Fakten notfalls einfach „nachahmen“ wird, lässt sich im Ergebnis Schwachsinn verschiedenster Art in Pseudo-Studien verpacken, die auf den allerersten Blick den formalen Erfordernissen einer wissenschaftlichen Arbeit genügen.
Fazit: Für seriöse Forscher wird der leichtfertige, allzu bequeme Umgang mit KI-Tools offensichtlich schnell zu einem „Tanz auf der Rasierklinge“, der die eigene wissenschaftliche Reputation kosten kann, sofern der unter eigenem Namen publizierte, KI-unterstützte Output nicht penibel händisch auf halluzinierte Zitate oder manipulierte Inhalte geprüft wird.
-MR