KI: Warum echte Fragen KI-Systeme besser testen als künstliche

Viele KI-Anwendungen beantworten Fragen nicht ausschließlich aus ihrem Trainingswissen. Sie durchsuchen zunächst eine Dokumentensammlung und formulieren auf Grundlage gefundener Texte eine Antwort. Das Verfahren heißt RAG: „Retrieval-Augmented Generation“, also durch Informationssuche ergänzte Textgenerierung.

Eine Untersuchung verglich 1.851 automatisch erzeugte Testfragen mit 322 echten Fragen von Studierenden an ein universitäres Informationssystem. Synthetische Fragen waren durchschnittlich 15,7 Wörter lang, echte nur 6,8. Die künstlichen Fragen verteilten sich über 165 Quellen; echte Nutzer benötigten nur 53 und konzentrierten sich auf wenige Themen.

Ein Suchverfahren, das in künstlichen Tests besonders gut abschnitt, brachte bei echten Fragen keinen entsprechenden Vorteil, verursachte aber teils längere Wartezeiten.

Daraus folgt: Automatisch erzeugte Fragen sind nützlich, sollten aber um echte Nutzerfragen ergänzt werden. Außerdem muss man getrennt prüfen, ob das System die richtigen Dokumente findet und ob es daraus anschließend korrekte Antworten formuliert.