Viele KI-Anwendungen beantworten Fragen nicht ausschließlich aus ihrem Trainingswissen. Sie durchsuchen zunächst eine Dokumentensammlung und formulieren auf Grundlage gefundener Texte eine Antwort. Das Verfahren heißt RAG: „Retrieval-Augmented Generation“, also durch Informationssuche ergänzte Textgenerierung. Eine Untersuchung verglich 1.851 automatisch erzeugte Testfragen mit 322 echten Fragen von Studierenden an ein universitäres Informationssystem. Synthetische Fragen waren durchschnittlich 15,7 Wörter lang, echte nur 6,8. Die künstlichen Fragen verteilten sich über 165 Quellen; echte Nutzer benötigten nur 53 und konzentrierten sich auf wenige Themen. Ein Suchverfahren, das in künstlichen Tests besonders gut abschnitt, brachte bei echten Fragen keinen entsprechenden Vorteil, verursachte aber teils längere Wartezeiten. Daraus folgt: Automatisch erzeugte Fragen sind nützlich, sollten aber um…