Abnahme eines KI-Workflows

1. Es gibt ein Eval-Set aus echten Fällen, und der letzte Durchlauf ist dokumentiert.
   Warum

   Ohne Testfallsammlung ist jede Aussage über die Qualität ein Eindruck. Entscheidend ist, dass die Fälle aus dem echten Betrieb stammen und nicht für die Demo ausgesucht wurden.

   Mehr dazu: KI-Workflows brauchen Tests, nicht nur Intuition

2. Die Schwelle steht fest, ab der das Ergebnis als gut genug gilt.
   Warum

   Eine Trefferquote ohne vorher vereinbarte Schwelle lässt sich nach dem Durchlauf beliebig deuten. Die Zahl gehört vor den Test, nicht danach.

   Mehr dazu: KI-Workflows brauchen Tests, nicht nur Intuition

3. Die Fehlerklassen sind benannt, und für jede ist entschieden, was sie kosten darf.
   Warum

   Nicht jeder Fehler wiegt gleich. Eine unvollständige Zusammenfassung ist etwas anderes als eine falsche Auskunft an Kunden, und beide brauchen unterschiedliche Antworten.

4. Es ist geprüft, was das System bei unsauberen und unerwarteten Eingaben tut.
   Warum

   Der Pilot lief mit den Daten, die jemand ausgesucht hat. Im Betrieb kommen Altdokumente, Tippfehler und leere Felder — die Frage ist nicht, ob, sondern was dann passiert.

5. Ein Mensch prüft dort, wo ein Fehler teuer wird — und diese Stellen sind benannt.
   Warum

   Ein Prüfschritt an jeder Stelle macht den Nutzen zunichte, keiner macht das Risiko unkalkulierbar. Die Auswahl der Stellen ist die eigentliche Entscheidung.

6. Es gibt einen Owner mit Namen, nicht eine zuständige Abteilung.
   Warum

   Ein Ablauf ohne benannte Person hat im Zweifel niemanden, der ihn abschaltet. Die Rolle braucht die Befugnis dazu, nicht nur die Aufgabe.

7. Die Teamleitung des betroffenen Bereichs hat den Ablauf gesehen und getragen.
   Warum

   Ein Workflow, den die Leitung nicht kennt, wird im Alltag umgangen statt benutzt. Das fällt erst Monate später auf, wenn die Zahlen nicht stimmen.

8. Die Kosten je Vorgang sind gerechnet, inklusive Prüfaufwand.
   Warum

   Die Modellkosten sind meist der kleinere Teil. Was der Ablauf wirklich kostet, entscheidet sich am Aufwand für Prüfung, Nachbearbeitung und Betreuung.

9. Es ist entschieden, was protokolliert wird und wie lange.
   Warum

   Ohne Protokoll lässt sich ein gemeldeter Fehler nicht nachvollziehen. Mit dem falschen Protokoll entsteht ein Datenschutzproblem — beides sollte vor der Freigabe geklärt sein.

10. Der Rückweg ist beschrieben und einmal geprobt.
    Warum

    Die Frage ist nicht, ob der Ablauf einmal abgeschaltet werden muss, sondern wie lange es dauert und wer es darf. Ein ungeprobter Rückweg ist eine Vermutung.

11. Es steht fest, wer den Ablauf beobachtet und woran eine Verschlechterung auffällt.
    Warum

    Modelle, Daten und Nutzung ändern sich. Ohne wiederkehrende Messung fällt eine schleichende Verschlechterung erst auf, wenn sich jemand beschwert.

    Mehr dazu: KI-Workflows brauchen Tests, nicht nur Intuition

12. Der Termin für die erste Überprüfung nach dem Start steht im Kalender.
    Warum

    Ohne Termin wird aus der Freigabe ein Endzustand. Sechs bis acht Wochen später ist der Zeitpunkt, an dem sich Annahmen an der Wirklichkeit messen lassen.

12 Punkte, keiner abgehakt.