Chunking ist der erste handwerkliche Schritt beim Aufbau von RAG-Systemen: Lange Handbücher, Verträge oder Tickets werden in kompakte Textbausteine zerlegt, die einzeln als Vektoren gespeichert und durchsucht werden können.

Der häufigste Fehler ist ein rein mechanischer Schnitt nach Zeichenzahl: Zerschneidet man Sätze mitten im Argument oder trennt Tabellenzeilen von ihren Spaltenköpfen, verliert der Text seinen Sinn. Das System findet später nur Bruchstücke und generiert unvollständige oder verfälschte Antworten.

Gutes Chunking folgt der natürlichen Dokumentenstruktur: Absätze, Zwischenüberschriften und Tabellen bleiben zusammenhängend erhalten, ergänzt um Metadaten wie Quellennamen, Datumsangaben und Zugriffsrechte. Überlappungen an den Schnittkanten stellen sicher, dass kein Kontext verloren geht.