Die Fälle, an denen ein System gemessen wird. Texte über Aufbau, Pflege und Grenzen von Evaluationsdaten.
Eine Testfallsammlung ist der Unterschied zwischen einer Vermutung und einer Aussage. Ohne sie wird die Qualität eines KI-Ablaufs durch Hinsehen festgestellt — das funktioniert, solange eine Person alles überblickt, und hört genau dann auf, wenn es darauf ankommt: bei der ersten Änderung, die jemand anders vornimmt.
Der Nutzen liegt nicht im ersten Durchlauf, sondern im zweiten. Wer einen Prompt ändert, ein Modell wechselt oder eine Quelle ergänzt, hat ohne Sammlung nur einen Eindruck davon, ob es besser geworden ist. Eindrücke bestätigen zuverlässig das, was man ohnehin vermutet hat.
Die Sammlung entsteht vor der ersten Optimierung und wächst im Betrieb weiter: Jeder Fehler, der es bis zum Anwender geschafft hat, wird ein Testfall. Nach einem Jahr misst sie damit die Schwächen, die dieses System in dieser Organisation tatsächlich hat.
Begriffe Eval-Set, Benchmark, Fehlerklasse, Drift
Ein KI-Workflow, den jemand nur durch das Lesen einiger Antworten prüft, ist weiterhin ein reines Experiment. Es braucht realistische Datensätze, strenge Assertions und eine Testsuite, die bei jeder Änderung an Prompt, Modell oder Workflow läuft.