Das Kontextfenster ist das temporäre Arbeitsgedächtnis des Modells. Alles, was in die Anfrage hineinpasst — Systemprompt, Datenbankabrufe, bisheriger Chatverlauf und Nutzerfrage —, kann die KI für ihre Antwort berücksichtigen. Was darüber hinausgeht, existiert für das Modell in diesem Moment nicht.

Zwar bieten moderne Modelle gewaltige Kontextfenster für hunderte Dokumentenseiten, doch mehr Text bedeutet nicht automatisch bessere Antworten: Im sogenannten „Lost in the Middle“-Effekt neigen Modelle dazu, Details in der Mitte extrem langer Texte zu übersehen. Zudem steigen Kosten und Latenz mit jedem zusätzlichen Token.

Im Regelbetrieb gilt: Ein großes Kontextfenster bietet Puffer für komplexe Aufgaben, ersetzt aber kein präzises Retrieval. Die Kunst besteht darin, dem System nur die relevanten Textstellen bereitzustellen, statt wahllos ganze Ordnerstrukturen zu übergeben.