Standortbestimmung

KI-Reifegrad-Check

Sechzehn Aussagen, vier Rubriken, ein paar Minuten. Am Ende steht kein Punktestand, sondern für jede Rubrik ein Befund und die Texte, die dazu passen. Nichts davon verlässt Ihren Browser.

Entscheiden

Strategie & Use Cases

Für jedes laufende KI-Vorhaben ist aufgeschrieben, welchen Nutzen es in welcher Größe bringen soll.

Nicht „Zeitersparnis", sondern eine Zahl, die jemand nachrechnen kann.

Ein Vorhaben ohne benannte Zielgröße lässt sich weder rechtfertigen noch beenden. Gemeint ist keine Prognose, sondern eine nachrechenbare Größe: wie viele Vorgänge im Monat, wie viel Aufwand je Vorgang, welche Fehlerquote noch tragbar wäre. „Teilweise" trifft zu, wenn es diese Größe für manche Vorhaben gibt und für andere nicht.

Es gibt je Vorhaben ein Abbruchkriterium, und es stand vor dem Bau fest.

Nach der Demo verhandelt man gegen den bereits investierten Aufwand.

Nach einer gelungenen Demo verhandelt niemand mehr ergebnisoffen — man verhandelt gegen den investierten Aufwand und gegen die eigene Ankündigung. Ein vor dem Bau notierter Satz darüber, was nicht erreicht sein darf, ist die billigste Absicherung im ganzen Vorhaben. Entscheidend ist der Zeitpunkt: hinterher formuliert, ist es kein Kriterium mehr, sondern eine Begründung.

Vorschläge werden regelmäßig auch abgelehnt, nicht nur nach hinten priorisiert.

Wer nicht aussortiert, verteilt dieselben Leute auf mehr Vorhaben.

Priorisieren heißt verschieben, ablehnen heißt entscheiden. Wer nur priorisiert, sammelt eine Liste, die nie kürzer wird, und verteilt dieselben Leute auf immer mehr Vorhaben. Der Prüfstein ist dabei nicht der abgelehnte schwache Vorschlag, sondern der abgelehnte, der von weit oben kam.

Für jeden Anwendungsfall ist eine Person benannt, die ihn im Betrieb verantwortet.

Eine Person mit Namen, keine zuständige Abteilung.

Ein Ablauf ohne benannte Person hat im Zweifel niemanden, der ihn anhält. Zur Rolle gehört die Befugnis: Wer verantwortet, dass ein System richtig arbeitet, muss es abschalten dürfen, ohne dafür drei Freigaben einzuholen. „Teilweise" heißt in der Praxis meist: Es gibt einen Namen, aber keine Befugnis.

Bauen

Architektur & Qualität

Änderungen an Prompt, Modell oder Daten werden gegen eine Sammlung echter Testfälle geprüft.

Echte Fälle aus dem Betrieb, nicht die für die Demo ausgesuchten.

Ohne eine Sammlung echter Testfälle ist jede Aussage über eine Verbesserung ein Eindruck — und Eindrücke bestätigen zuverlässig das, was man ohnehin vermutet hat. Entscheidend ist die Herkunft der Fälle: Sie müssen aus dem Betrieb stammen und nicht aus der Demo. Zwanzig gut gewählte genügen für den Anfang.

Es ist festgelegt, ab welchem Ergebnis ein Ablauf als gut genug gilt.

Die Schwelle gehört vor den Test, nicht danach.

Eine Trefferquote ohne vorher vereinbarte Schwelle lässt sich nach dem Durchlauf in beide Richtungen deuten. Die Zahl muss nicht perfekt sein, aber sie muss vor dem Test existieren und von jemandem stammen, der die Folgen trägt. Sonst wird aus der Messung eine Verhandlung.

Die Fehlerklassen der Systeme sind benannt und werden unterschiedlich gewichtet.

Eine unvollständige Notiz ist etwas anderes als eine falsche Kundenauskunft.

Nicht jeder Fehler wiegt gleich: Eine unvollständige interne Zusammenfassung ist etwas anderes als eine falsche Auskunft an Kunden. Wer beide gleich behandelt, prüft entweder zu viel oder an der falschen Stelle. Die Gewichtung entscheidet darüber, wo ein Mensch hinsieht — und wo eben nicht.

Der Zugriff auf interne Daten läuft über einen Weg, der die Rechte des Fragenden berücksichtigt.

Sonst beantwortet das System Fragen, die der Fragende nicht stellen dürfte.

Ein System, das über mehrere Quellen hinweg antwortet, führt Wissen zusammen, das keine der Quellen für sich preisgeben würde. Schlagen die Rechte des Fragenden nicht bis in den Abruf durch, beantwortet es Fragen, die dieser Mensch nicht stellen dürfte. Das fällt selten sofort auf und ist im Nachhinein teuer zu reparieren.

Betreiben

Betrieb & Governance

Für jedes produktive System ist geklärt, wer eine Verschlechterung bemerkt.

Ohne wiederkehrende Messung fällt sie auf, wenn sich jemand beschwert.

Modelle, Daten und Nutzung ändern sich, und zwar ohne Ankündigung. Ohne wiederkehrende Messung fällt eine schleichende Verschlechterung erst auf, wenn sich jemand beschwert — also lange nachdem sie begonnen hat. Die Frage ist deshalb nicht, ob jemand zuständig ist, sondern woran diese Person es merken würde.

Die Kosten je Vorgang sind bekannt und werden beobachtet.

Ein Ablauf ohne Kostendeckel wächst still.

Ein Ablauf ohne Kostendeckel wächst still, weil die Rechnung monatlich kommt und niemandem gehört. Die Modellkosten sind dabei meist der kleinere Teil: Prüfaufwand und Nacharbeit entscheiden, ob sich der Ablauf rechnet. „Teilweise" heißt oft, dass die Gesamtrechnung bekannt ist, aber nicht auf einzelne Abläufe aufgeteilt.

Es gibt einen Weg, ein System abzuschalten oder zurückzurollen, und er wurde einmal geprobt.

Ein ungeprobter Rückweg ist eine Vermutung.

Die Frage ist nicht, ob ein System einmal angehalten werden muss, sondern wie lange das dauert und wer es darf. Ein Rückweg, der beschrieben und nie geprobt wurde, ist eine Vermutung. Die Probe deckt regelmäßig auf, dass eine Berechtigung fehlt oder ein Zwischenstand dabei verlorengeht.

Was die Systeme tun, wird so protokolliert, dass ein gemeldeter Fehler nachvollziehbar ist.

Und zwar so, dass daraus kein zweites Problem entsteht.

Ohne Protokoll lässt sich ein gemeldeter Fehler nicht nachvollziehen — man kann ihn nur nachstellen und hoffen. Mit dem falschen Protokoll entsteht ein zweites Problem, weil die Eingaben personenbezogene Daten enthalten können. Beides gehört vor die Freigabe geklärt und nicht nach dem ersten Vorfall.

Führen

Leadership & Organisation

Es gibt einen freigegebenen Weg für die KI-Nutzung, und die Belegschaft kennt ihn.

Ein Verbot ohne gangbare Alternative erzeugt Shadow AI, statt sie zu verhindern.

Ein Verbot ohne gangbare Alternative lässt die Nutzung nicht verschwinden — sie wandert auf private Konten und wird unsichtbar. Der Maßstab ist deshalb nicht Vollständigkeit, sondern Gangbarkeit: Ein kurzer Weg, der eingehalten wird, steuert besser als ein vollständiger, den alle umgehen. Und er muss bekannt sein, nicht nur beschlossen.

Die Teamleitungen der betroffenen Bereiche tragen die Vorhaben mit.

Ein Ablauf gegen die Leitung des Bereichs wird umgangen, nicht benutzt.

Ein Ablauf, den die Leitung des betroffenen Bereichs nicht trägt, wird im Alltag umgangen statt benutzt. Das fällt erst Monate später auf, wenn die Nutzungszahlen nicht zur Investition passen. Mittragen heißt dabei mehr als informiert sein: Die Leitung muss den Ablauf gegenüber ihrem Team vertreten.

Kompetenzaufbau findet fortlaufend statt, nicht als einmalige Schulung.

Was sich halbjährlich ändert, lässt sich nicht einmalig lernen.

Was sich halbjährlich ändert, lässt sich nicht einmalig lernen. Eine Schulung zum Projektstart erzeugt eine Momentaufnahme, die nach einem Jahr veraltet ist und danach falsche Sicherheit gibt. Gemeint ist ein fortlaufender Betrieb — Zeit im Kalender, nicht ein Termin im Rückblick.

Es ist geklärt, wer in heiklen Fällen über den Einsatz entscheidet — und in welcher Frist.

Eine Stelle, die in Wochen antwortet, wird übergangen.

Heikle Fälle entstehen unabhängig davon, ob jemand für sie zuständig ist. Fehlt die Stelle, entscheidet im Zweifel die Person, die gerade unter Druck steht — oder es entscheidet niemand und das Vorhaben bleibt liegen. Zur Zuständigkeit gehört eine Frist: Eine Stelle, die in Wochen antwortet, wird übergangen.

Die Auswertung rechnet im Browser und braucht dafür JavaScript. Die Aussagen oben sind auch ohne sie vollständig — sie taugen als Fragenkatalog für einen Termin. Welche Texte zu welcher Rubrik gehören, steht darunter.

Die vier Rubriken

Bereit zu… entscheiden

Welcher Use-Case, mit welchem Nutzen, unter welchem Risiko. Auswahl, Priorisierung und Abbruchkriterium — bevor Budget fließt.

Bereit zu… bauen

Vom Prototyp zum System, das eine Abnahme besteht. Architektur, Datenzugriff, Eval-Sets und die Gates dazwischen.

Bereit zu… betreiben

Was nach dem Go-Live kommt. Fehlerklassen, Monitoring, Kosten, Modellwechsel und der Weg zurück, wenn etwas kippt.

Bereit zu… führen

Wer verantwortet, wer entscheidet, wer kann es. Owner, Rollen, Kompetenzaufbau und Governance ohne Papiertiger.