Künstliche Intelligenz verspricht, die systematische Literaturrecherche schneller und effizienter zu machen. Laufend kommen neue Rechercheplattformen und KI-gestützte Anwendungen auf den Markt. Gleichzeitig bleiben die Anforderungen an systematische Literaturrecherchen unverändert hoch. Über Chancen, Herausforderungen und praktische Tipps für den Einsatz von KI in der systematischen Literaturrecherche haben wir mit Irma Klerings gesprochen. Als Informationsspezialistin bei Cochrane Österreich ist sie Expertin für systematische Literaturrecherchen und deren (semi-)automatisierte Unterstützung.
KI-gestützte Recherchetools haben in den letzten Jahren viel Aufmerksamkeit erhalten. Was hat sich dadurch in der systematischen Literaturrecherche verändert?
Das ist eine Frage, die gar nicht so einfach zu beantworten ist, weil es auf die Perspektive ankommt. Einerseits gibt es ständig neue KI-Tools und Updates von bestehenden Tools, die die Erstellung von Literaturübersichten vereinfachen sollen. Es gibt auch eine rasant anwachsende Menge von Publikationen, die KI-Tools und Anwendungen für die Literaturrecherche beschreiben oder evaluieren. Und trotzdem sind bei Weitem nicht alle Tools, die es gibt, in irgendeiner Weise validiert. Das heißt, wir haben eine große Auswahl von Tools, die vielleicht nützlich sind, aber keine gesicherten Einschätzungen.
Das ist insofern ein Problem, weil sich die methodischen Anforderungen an die systematische Literatursuche nicht geändert haben: Das Ziel ist, möglichst alle relevanten Studien zu einer Fragestellung zu finden und dabei so transparent und reproduzierbar wie möglich zu sein.
Ein Systematic Review (oder andere Evidenzsynthese), der auf einer schlecht gemachten Literaturrecherche beruht, kann keine vertrauenswürdigen Ergebnisse liefern. Und das gilt natürlich auch für die Folgeschritte des Reviews: Das vollständigste Suchergebnis ist wertlos, wenn die Literaturauswahl nicht sauber gemacht wird. Deshalb raten Organisationen wie Cochrane auch zur Verwendung von validierten KI-Tools.
Andererseits beruht längst nicht jede Art von (Semi-)Automatisierung auf KI. Und die Anwendung von Automatisierungs-Tools kann in unterschiedlichen Schritten des Prozesses unterschiedlich hilfreich oder problematisch sein.
Welche Schritte einer systematischen Literaturrecherche lassen sich heute bereits sinnvoll automatisieren und wo ist der Mensch noch unverzichtbar?
Bei der systematischen Literaturrecherche als Gesamtprozess sind menschliches Verständnis und Intelligenz notwendig, um sicherzustellen, dass das Vorgehen zielführend ist. Was das konkret bedeutet, ist abhängig vom Arbeitsschritt. Voraussetzung ist die notwendige Expertise, um den Output der Automatisierung bewerten zu können.
Bei manchen Schritten wie der Deduplikation von Suchergebnissen kann der menschliche Input minimal sein. Je nach Tool wird ein Großteil der Duplikate nach vordefinierten Kriterien automatisch erkannt, und nur bei einem kleineren Teil ist eine menschliche Entscheidung notwendig.
Bei anderen Schritten wie der Auswahl von Suchbegriffen oder der Erstellung von Datenbanksuchstrategien gibt es Tools, die helfen können. Aber es ist trotzdem notwendig, über die Auswahl nachzudenken, Entscheidungen über die Vorgehensweise zu treffen und zu testen, ob die finale Auswahl der Suchbegriffe oder der Suchstrategie adäquat ist.
Systematische Recherchen müssen transparent, reproduzierbar und umfassend sein. Welche Herausforderungen ergeben sich daraus für den Einsatz von KI?
Wenn in diesem Kontext von „KI“ gesprochen wird, dann geht es meistens um genAI*, die auf Large Language Models basiert. Und da ist eines der grundlegenden Probleme, dass gleichbleibender Input zu unterschiedlichem Output führen kann. Wenn ich also der KI-Rechercheplattform zweimal dieselbe wissenschaftliche Fragestellung als Prompt gebe, bekomme ich sehr wahrscheinlich zwei unterschiedliche Suchergebnisse, die sich mehr oder weniger überschneiden. Das ist weder transparent – weil ich in der Regel nicht weiß, wie es zu dem Suchergebnis gekommen ist – noch reproduzierbar. Aber wenn die Rechercheplattform selbst auf Literatur-Datenbanken zurückgreift, kann ich zumindest davon ausgehen, dass die Literaturangaben im Suchergebnis nicht halluziniert sind.
Andererseits, wenn ich ein LLM anweise, um eine PubMed-Suchstrategie zu einer Fragestellung zu erstellen, dann bekomme ich höchstwahrscheinlich jedes Mal eine andere Suchstrategie. Die einzelne Suchstrategie hat eventuell Fehler („halluzinierte“ Suchbegriffe, Syntax- oder Logik-Fehler). In manchen Fällen führt das vielleicht sogar dazu, dass sie überhaupt nicht durchgeführt werden kann. Aber wenn ich diese Suchstrategie in PubMed laufen lasse und danach dokumentiere, ist sie genauso transparent und reproduzierbar wie eine ohne KI erstellte Suchstrategie.
Gibt es Tools, die Sie Forschenden derzeit besonders empfehlen würden?
Die meisten Informationsspezialist:innen verwenden PubMed PubReminer (ein Textanalyse-Tool) und Polyglot (für die Übersetzung von MEDLINE-Suchstrategien auf andere Datenbanken) während der Erstellung von systematischen Datenbanksuchen. Keines von beiden ist KI-basiert, aber nützlich sind sie trotzdem. Für die Überprüfung der „Performance“ von Suchen finde ich CiteSource sehr praktisch.
Worauf sollten Forschende achten, wenn sie KI-gestützte Tools in ihren Rechercheprozess integrieren?
Ich würde mich an die Empfehlungen der Responsible use of AI in evidence SynthEsis (RAISE) Guidance halten. Da wird sehr gut erklärt, welche Ansprüche es an KI-Nutzung bei Evidenzsynthesen gibt. Und es gibt für jeden Schritt (auch die Literatursuche) Beispiele für Tools und eine Empfehlung, wie sie eingesetzt werden können.
Welche Entwicklungen erwarten Sie in den nächsten fünf Jahren im Bereich der systematischen Literaturrecherche?
Schwer zu sagen. Die derzeitigen genA Anwendungen scheitern an den Ansprüchen an Transparenz und Reproduzierbarkeit. Aber wenn sich zeigt, dass sie auch ohne diese Kriterien zu erfüllen konsistent gute Ergebnisse liefern (also jedes Mal möglichst alle relevanten Studien zu einer Fragestellung finden, unabhängig von Fragestellung), dann führt das vielleicht dazu, dass sich die Anforderungen ändern.
Auf der anderen Seite konzentriert sich der allergrößte Teil der Automatisierungs-Ansätze auf Forschung, die in Form von Artikeln in Journals (und ggf. als Preprints) auf Englisch veröffentlicht ist. Die großen Schwachstellen der etablierten systematischen Literaturrecherche sind aber das Finden von nicht-englischsprachiger Literatur und von grauer Literatur (z. B. Dissertationen, Reports von Organisationen, Working Papers, usw.). Solche Suchen sind, wenn man sie gut machen will, oft sehr zeitaufwändig. Wenn weniger Zeit zur Verfügung steht, werden sie oft weggelassen oder nur „abgespeckt“ gemacht. Und Suchen nach grauer Literatur sind in der Regel außerdem weniger reproduzierbar als Datenbankrecherchen. Das führt dazu, dass diese Arten von Literatur in Systematic Reviews oft gar nicht berücksichtigt werden, obwohl es Themen gibt, wo das sehr sinnvoll wäre.
Hier besteht also riesiges Verbesserungpotenzial. Die Entwicklung von KI-Anwendungen, die die systematische Suche nach nicht-englischer und grauer Literatur vereinfachen, könnte die Publikationsbias von Evidenzsynthesen stark reduzieren.
Was erwartet die Teilnehmenden in Ihrem Workshop Ansätze zur (Semi-)Automatisierung von systematischen Literaturrecherchen?
Einerseits eine Vorstellung von Tools, die im systematischen Recherche Prozess nützlich sein können. Andererseits eine genauere Beschäftigung damit, was RAISE für die Literatursuche empfiehlt. Und Überlegungen und Tipps dazu, wie man selbst überprüfen und einschätzen kann, ob neue Tools das halten, was sie versprechen.
Wenn Sie Forschenden einen Rat zum Umgang mit KI in der Literaturrecherche geben könnten, welcher wäre das?
Ein Kollege hat mal gesagt, man soll genAI bei der Erstellung von Evidenzsynthesen nur für die Schritte verwenden, die man auch selbst ohne KI durchführen könnte. Das bedeutet, ich muss in der Lage sein, zu bewerten, ob das KI-Ergebnis richtig, sinnvoll und fehlerfrei ist. Bei Literatursuche-Anwendungen ist der einfachste erste Schritt der Vergleich mit einem Goldstandard, also z. B. einem systematischen Review mit einem Set von eingeschlossenen Studien. Dann kann ich zum Beispiel vergleichen, ob die KI-gestützte Suche oder die KI-generierte Suchstrategie diese Studien auch findet, und ob das Ergebnis gleichbleibend ist, wenn ich die dieselbe Anfrage stelle.
Vielen Dank für das Gespräch!
*genAI: generative Künstliche Intelligenz
Nützliche Links:
PubMed PubReMiner: https://hgserver2.amc.nl/cgi-bin/miner/miner2.cgi
Polyglot: https://polyglot.sr-accelerator.com/
CiteSource: https://litrev.shinyapps.io/CiteSource/
RAISE: https://osf.io/fwaud/overview
Workshop-Tipp:
Wer das Thema vertiefen möchte, hat am 21. Juli 2026 Gelegenheit dazu: Im Onlinekurs „Ansätze zur (Semi-)Automatisierung von systematischen Literaturrecherchen“ gibt Irma Klerings einen praxisnahen Überblick über aktuelle Tools und deren sinnvollen Einsatz im Rechercheprozess. Der eintägige Workshop findet als Distance-Learning-Format in deutscher Sprache statt. Die Teilnahme kostet 110 Euro, ein Teilnahmezertifikat sowie 4 DFP-Punkte sind inkludiert. Anmeldeschluss ist der 13. Juli 2026. Zur Anmeldung