Die Abnahme eines KI-Workflows läuft in den meisten Unternehmen nach demselben Muster ab: In einem Meeting führt jemand fünf oder sechs handverlesene Beispiele vor. Alle schauen auf den Bildschirm, die Ergebnisse wirken beeindruckend und flüssig formuliert, jemand aus der Leitung nickt und sagt „Sieht gut aus“ – und damit gilt der Übergang in den Produktivbetrieb als beschlossen.

Das fundamentale Problem an diesem Vorgehen ist nicht die Eile. Es ist die systematische Verzerrung: Wer eine Präsentation vorbereitet, wählt unwillkürlich Fälle, von denen er weiß, dass sie funktionieren. Niemand tut das aus böser Absicht; man möchte schlicht zeigen, dass das Vorhaben Fortschritte macht. Die tückischen Grenzfälle, an denen das Modell scheitert, schaffen es gar nicht erst auf die Folien.

Doch genau diese ungemütlichen Randfälle entscheiden darüber, ob ein KI-Workflow den rauen Betriebsalltag übersteht oder zur operativen Dauerlast wird.

Eine Pauschalquote verschleiert das eigentliche Risiko

Der erste Reflex vieler Teams, die nach messbarer Qualität gefragt werden, ist eine pauschale Trefferquote: „Unser Modell arbeitet in 95 Prozent der Fälle fehlerfrei.“ Das klingt nach mathematischer Präzision, ist in der betrieblichen Realität jedoch oft eine gefährliche Illusion.

Eine isolierte Quote verschweigt zwei entscheidende Faktoren:

Erstens verschweigt sie den Schwierigkeitsgrad der zugrundeliegenden Datenbasis. Wenn 90 Prozent aller eingehenden Rechnungen ohnehin Standardbuchungen für denselben Lieferanten sind, erreicht selbst ein triviales Skript ohne jede Intelligenz eine Trefferquote von 90 Prozent. Ohne den Vergleich zu einer simplen Baseline ist eine Erfolgsquote bedeutungslos.

Zweitens verschweigt sie die Verteilung und Auswirkung der restlichen fünf Prozent:

Fünf Prozent Verwechslungen zwischen zwei ähnlichen Warengruppen sind ein Ärgernis im Tagesgeschäft. Fünf Prozent Rechnungen, die fälschlich an betrügerische Konten freigegeben werden, sind ein existenzbedrohender Schaden. Beide Szenarien ergeben auf dem Papier dieselbe Erfolgsquote von 95 Prozent.

Ein belastbares Abnahmekriterium bewertet Fehler daher niemals pauschal, sondern unterscheidet strikt nach ihren geschäftlichen Konsequenzen.

Fehlerklassen statt Gesamtnote

In der Praxis hat sich die Einteilung in drei konkrete Fehlerklassen bewährt, die sich mit dem Fachbereich meist in weniger als einer Stunde definieren lassen:

1. Harmlose Fehler (Toleranzbereich): Sie kosten im Alltag ein paar Sekunden Nacharbeit, richten aber keinen Schaden an. Ein falsch formatierter Datumsstring, ein orthografischer Schnitzer im internen Entwurf oder eine Zusammenfassung, die einen unwichtigen Nebenaspekt auslässt. Hier ist eine moderate Fehlerrate betriebswirtschaftlich absolut vertretbar, solange der Nutzen die manuelle Korrekturzeit deutlich übersteigt.

2. Teure Fehler (Gedeckelte Obergrenze): Diese Fehler erzeugen spürbare Nacharbeiten in anderen Abteilungen oder führen zu Reibungsverlusten mit Kunden und Partnern. Ein Lieferanten-Ticket, das in die falsche Fachabteilung gesteuert wird und dort drei Tage liegenbleibt. Für diese Klasse wird eine strikte, niedrige Obergrenze vereinbart (beispielsweise maximal 2 Prozent).

3. Nicht hinnehmbare Fehler (Null-Toleranz): Diese Fehler dürfen unter keinen Umständen unbemerkt in den Ablauf gelangen. Eine freigegebene Überweisung ohne rechnerische Prüfung, eine falsche juristische Auskunft an Endkunden oder die Offenlegung personenbezogener Daten in einem öffentlichen Dokument. Für diese Kategorie gilt als Grenzwert exakt null. Lässt sich diese Quote technisch nicht garantieren, muss der Workflow an dieser Stelle zwingend durch eine verbindliche menschliche Freigabe abgesichert werden.

Diese Klassifizierung ist die eigentliche Arbeit an einem Abnahmekriterium. Sie zwingt den Fachbereich, die tatsächlichen Risiken eines Prozesses transparent zu beziffern. Genau deshalb kann die Abnahme niemals an die IT delegiert werden: Welche Fehlentscheidung welche Kosten nach sich zieht, weiß nur die Abteilung, die im Schadensfall dafür geradestehen muss.

Das Instrument: Ein festes Set echter Praxisfälle (Eval-Set)

Ein Qualitätskriterium ohne standardisiertes Messinstrument bleibt eine bloße Absichtserklärung. Das unverzichtbare Werkzeug für die Abnahme ist ein sogenanntes Eval-Set: eine feste, versionierte Sammlung historischer Praxisfälle inklusive des jeweils fachlich perfekten Referenzergebnisses.

Für einen soliden Start genügen 50 bis 100 echte Datensätze. Entscheidend sind dabei zwei Kriterien:

  • Die Fälle müssen aus dem realistischen Geschäftsalltag stammen – inklusive schief eingescannter Belege, unvollständiger Formulare, Freitexte voller Tippfehler und mehrsprachiger Eingaben.
  • Die Sammlung muss gezielt die bekannten Grenz- und Problemfälle enthalten, nicht nur den bequemen Standardablauf. Wer nur Schönwetter-Daten testet, misst lediglich, was ohnehin funktioniert.

Das manuelle Erstellen der korrekten Referenzantworten durch erfahrene Fachkräfte ist zeitaufwendig, aber die lohnendste Investition im gesamten Vorhaben: Derselbe Datensatz dient anschließend als automatisierte Testsuite für jede künftige Änderung. Genau das ist der Kern des Prinzips, dass KI-Workflows strukturierte Tests und kein Bauchgefühl brauchen.

Die Prüffalle: Wenn die Nachkontrolle den Nutzen auffrisst

Vor der Freigabe muss eine grundlegende Frage beantwortet werden, die sich nicht in Benchmark-Tabellen ablesen lässt:

Wie lange braucht eine Fachkraft, um das Ergebnis der KI zu überprüfen – und wie lange hätte sie gebraucht, um die Arbeit komplett selbst zu erledigen?

Dauert die manuelle Prüfung eines generierten Textes fast genauso lange wie das eigenhändige Verfassen, ist der Workflow unabhängig von jeder Trefferquote unrentabel. Er spart keine Zeit, sondern verschiebt die Arbeit lediglich auf den undankbaren Part der Fehlerkorrektur. In der Folge entsteht das gefährliche Phänomen des „Rubber Stamping“: Überlastete Mitarbeiter winken Ausgaben nach einiger Zeit blind durch, und die menschliche Kontrollinstanz existiert nur noch auf dem Papier.

Ein Workflow ist nur dann abnahmefähig, wenn seine Ausgaben auf maximale Prüfbarkeit optimiert sind. Ein strukturierter Klassifikationsvorschlag mit Quellenangabe und kurzer Begründung lässt sich in drei Sekunden verifizieren. Eine unstrukturierte Textwand ohne Herkunftsnachweise zwingt hingegen zur zeitraubenden Neurecherche.

Konsequenzen vorab verbindlich regeln

Ein Kriterium wird erst dann zu einem echten Gate, wenn die Konsequenzen bei verfehlten Zielwerten bereits vor dem Testlauf unmissverständlich feststehen. Andernfalls verfällt das Team in der Abnahmesitzung in Ausreden, redet schwache Zahlen schön und winkt das System mit vagen Nachbesserungsversprechen durch.

In der Praxis haben sich drei klare Entscheidungswege bewährt:

  1. Vollständige Freigabe: Alle definierten Fehlerklassen halten ihre Schwellenwerte im Eval-Set sauber ein. Der Workflow wechselt in den Regelbetrieb.
  2. Bedingte Freigabe mit Prüfpflicht: Die harmlosen Fehler liegen leicht über dem Schwellenwert. Das System darf starten, allerdings wird vorübergehend jedes Ergebnis vor der Weiterverarbeitung durch einen Menschen gegengezeichnet. Gleichzeitig wird ein fester Termin (maximal vier Wochen) für die Nachmessung vereinbart.
  3. Keine Freigabe (Stopp): Tritt im Testlauf auch nur ein einziger nicht hinnehmbarer Fehler auf, wird der Go-Live gestoppt – völlig ungeachtet dessen, wie brillant die restlichen 99 Prozent gewirkt haben. Ein schwerer Fehler bei 80 Testfällen ist kein statistischer Ausreißer, sondern der Beweis für eine Schwachstelle, die bei tausend produktiven Vorgängen verheerende Schäden anrichten wird.

Abnahme ist kein Einmal-Event

KI-Workflows unterliegen kontinuierlicher Veränderungen: Modellanbieter spielen im Hintergrund Updates ein, Datenquellen im Unternehmen verändern sich, und die Eingaben der Nutzer driften ab.

Ein professionelles Abnahmekriterium muss sich deshalb jederzeit mit minimalem Aufwand wiederholen lassen. Liegen die Testfälle in einer versionierten Testsuite, schrumpft die Qualitätsprüfung von zwei Tagen manueller Fleißarbeit auf einen einzigen automatisierten Durchlauf.

Die Checkliste zur Abnahme eines KI-Workflows fasst alle relevanten Prüfpunkte für diese Freigaberunde übersichtlich zusammen.

Ein Abnahmekriterium ist kein Abschlusszeugnis für ein vergangenes Projekt. Es ist das permanente Messinstrument, mit dem der fachliche Owner den Workflow im Betriebsalltag steuert und schützt.

Damit ist geregelt, woran ein gutes Ergebnis zu erkennen ist und wann ein System starten darf. Doch selbst das beste Qualitäts-Gate schützt nicht vor unvorhergesehenen Störungen im Live-Betrieb. Was zu tun ist, wenn trotz aller Tests der erste schwere Fehler auftritt, zeigt der dritte Teil der Serie: Der erste Fehlerfall.

Häufige Fragen

Was zeichnet ein gutes Abnahmekriterium für KI-Workflows aus?

Ein gutes Kriterium ist objektiv wiederholbar und stützt sich auf einen festen Satz echter Praxisfälle. Es unterscheidet strikt zwischen harmlosen und geschäftskritischen Fehlern und legt vorab verbindliche Konsequenzen für den Fall fest, dass die Zielwerte verfehlt werden.

Warum reicht eine pauschale Genauigkeit von 95 Prozent nicht aus?

Weil eine einzelne Prozentzahl die Schwere der Fehler verschleiert. Fünf Prozent harmlose Tippfehler sind unproblematisch, fünf Prozent fehlerhaft freigegebene Rechnungen ein reales Schadensrisiko. Zudem sagt eine Quote nichts aus, wenn 90 Prozent der Eingaben ohnehin Trivialfälle sind.

Wie viele Testfälle braucht ein solides Eval-Set?

Für den Start genügen meist 50 bis 100 Fälle aus der echten Unternehmenspraxis, sofern sie alle zentralen Fallgruppen und bekannte Randbedingungen abbilden. Entscheidend ist, dass die Referenzergebnisse von Fachexperten manuell validiert wurden.

Muss die Abnahme nach einem Modell-Update wiederholt werden?

Unbedingt. Sprachmodelle verändern ihr Verhalten bei Updates oft unbemerkt. Ein Abnahmekriterium taugt nur dann für den Betrieb, wenn sich die gesamte Testsuite per Knopfdruck automatisiert erneut gegen das aktualisierte Modell ausführen lässt.