Chunking in RAG – Warum die Größe (doch) zählt

Ihr habt euch also entschieden, ein RAG-System aufzubauen. Glückwunsch! Ihr habt eure 500 Seiten Dokumentation digitalisiert, in PDFs konvertiert und seid bereit, die KI-Revolution zu starten. Dann kommt dieser eine Moment, wo jemand fragt: „Wie groß sollen denn die Chunks sein?“

Hinweis: Dieser Artikel baut auf dem RAG-Artikel auf: Die Revolution der Dokumentationszugänglichkeit – Wenn dein Handbuch plötzlich mit dir plaudert

Und plötzlich starrt ihr auf euren Bildschirm wie ein Reh im Scheinwerferlicht. 100 Wörter? 500? Ganze Absätze? Einzelne Sätze? Warum ist das überhaupt wichtig?

Spoiler Alert: Es ist verdammt wichtig. Und zwar so wichtig, dass es den Unterschied zwischen „Wow, das funktioniert ja perfekt!“ und „Warum antwortet die KI mit komplettem Unsinn?“ ausmachen kann.

Was zum Teufel ist Chunking überhaupt?

Stellt euch vor, ihr müsst einem Freund ein 300-Seiten-Buch erklären. Ihr würdet ihm nicht das komplette Buch auf einmal vorlesen, oder? Ihr würdet die wichtigsten Teile heraussuchen, in verdauliche Happen aufteilen und genau das erzählen, was für seine Frage relevant ist.

Genau das macht Chunking. Eure Dokumente werden in kleinere Textblöcke aufgeteilt, die:

• Klein genug sind, um spezifisch zu sein
• Groß genug, um noch Sinn zu ergeben
• Klug genug aufgeteilt, um Kontext zu bewahren
• Durchsuchbar genug, um gefunden zu werden

Klingt einfach? Ha! Willkommen in der wunderbaren Welt der Trade-offs.

Das Goldilocks-Problem – Nicht zu groß, nicht zu klein

Zu große Chunks (1000+ Wörter)

Ihr kennt das: Ihr fragt die KI „Wie beantrage ich Urlaub?“ und bekommt als Antwort einen Roman über HR-Prozesse, Betriebsvereinbarungen, Urlaubsansprüche, Krankheitstage, Überstundenregelungen und die Geschichte eures Unternehmens seit 1987.

Das Problem:

• Die KI bekommt zu viel irrelevante Information
• Die Antwort wird schwammig und generisch
• Die wirklich wichtige Info geht im Rauschen unter
• Eure Kosten explodieren (mehr Tokens = mehr Geld)

Wann sinnvoll:

• Bei komplexen Themen, die viel Kontext brauchen
• Bei technischen Anleitungen mit vielen Abhängigkeiten
• Wenn ihr mehr Wert auf Vollständigkeit als Präzision legt

Zu kleine Chunks (50-100 Wörter)

Jetzt geht ihr in die andere Richtung. Einzelne Sätze, kurze Absätze. Super präzise! Bis die KI antwortet: „Laut Dokument musst du das Formular ausfüllen“ – aber welches Formular? Wo finde ich das? Was kommt danach?

Das Problem:

• Kontext geht verloren
• Zusammenhänge werden zerrissen
• Die KI muss raten, was gemeint ist
• Referenzen und Bezüge funktionieren nicht mehr

Wann sinnvoll:

• Bei FAQ-artigen Dokumenten
• Bei Listen und Aufzählungen
• Wenn ihr sehr spezifische, kurze Antworten braucht

Die goldene Mitte (200-500 Wörter)

Für die meisten Anwendungen ist das der Sweet Spot. Genug Kontext, um sinnvolle Antworten zu geben, aber nicht so viel, dass die KI den Überblick verliert.

Die verschiedenen Chunking-Strategien – Weil’s natürlich nicht nur eine gibt

1. Fixed-Size Chunking – Die Brechstange

„Alle 300 Wörter, zack, neuer Chunk. Egal, ob’s gerade mitten im Satz ist.“

Vorteile:

• Super einfach zu implementieren
• Gleichmäßige Verteilung
• Vorhersagbare Performance

Nachteile:

• Zerreißt Sätze und Absätze
• Ignoriert natürliche Strukturen
• Kontextverlust garantiert

Fazit: Funktioniert für’s erste Prototyping, aber ihr werdet damit nicht glücklich.

2. Semantic Chunking – Die elegante Lösung

„Lass uns die Bedeutung verstehen und danach aufteilen.“

Die KI analysiert den Text und teilt ihn nach inhaltlichen Zusammenhängen auf. Ein Absatz über Urlaubsanträge bleibt zusammen, auch wenn er 600 Wörter lang ist.

Vorteile:

• Behält inhaltlichen Zusammenhang
• Natürliche Grenzen
• Bessere Suchergebnisse

Nachteile:

• Komplexer zu implementieren
• Ungleichmäßige Chunk-Größen
• Mehr Rechenaufwand

Fazit: Der Goldstandard, wenn ihr’s ernst meint.

3. Recursive Chunking – Die russische Matrjoschka

„Teile nach Kapiteln, dann nach Abschnitten, dann nach Absätzen – bis es passt.“

Vorteile:

• Respektiert Dokumentstruktur
• Hierarchische Organisation
• Flexibel anpassbar

Nachteile:

• Braucht strukturierte Dokumente
• Komplexe Implementierung
• Kann immer noch Kontext verlieren

Fazit: Perfekt für gut strukturierte technische Dokumentation.

Der Overlap-Trick – Weil Grenzen manchmal fließend sein sollten

Hier kommt ein Geheimtipp: Lasst eure Chunks sich überlappen!

Statt harter Grenzen bei Wort 300 und 600, lasst die letzten 50 Wörter von Chunk 1 auch am Anfang von Chunk 2 erscheinen. Das klingt nach Verschwendung, rettet aber regelmäßig den Kontext.

Beispiel:

• Chunk 1 endet mit: „…deshalb muss der Antrag mindestens 14 Tage vorher eingereicht werden. Bei Krankheit gelten Sonderregeln.“
• Chunk 2 startet mit: „Bei Krankheit gelten Sonderregeln. Der Mitarbeiter muss innerhalb von 24 Stunden…“

Ohne Overlap würde „Sonderregeln“ in Chunk 2 aus dem Nichts kommen. Mit Overlap macht’s Sinn.

Metadaten – Die geheime Zutat

Chunks allein sind gut. Chunks mit Metadaten sind großartig.

Fügt jedem Chunk hinzu:

• Dokumentname und Version
• Seitenzahl
• Kapitel/Abschnitt
• Datum der letzten Änderung
• Abteilung oder Zielgruppe
• Tags und Kategorien

Dann könnt ihr nicht nur nach Inhalt suchen, sondern auch filtern: „Zeig mir nur Chunks aus der HR-Dokumentation, Version 2024, die mit Urlaub zu tun haben.“

Die Horror-Story vom falschen Chunking

Ein Kollege (nennen wir ihn Max) hat mal ein RAG-System mit 50-Wort-Chunks aufgebaut. Sah super aus, war schnell, funktionierte…bis zur ersten echten Frage.

„Wie beantrage ich Homeoffice?“

Antwort der KI: „Du musst das Formular ausfüllen.“

„Welches Formular?“

„Das Formular.“

„WO FINDE ICH DAS VERDAMMTE FORMULAR?!“

„Formular.“

Das System hatte den Satz „Fülle das Homeoffice-Formular HO-2024 aus, das du im Intranet unter Formulare > Arbeit > Homeoffice findest“ in drei Chunks zerlegt. Jeder Chunk war für sich genommen nutzlos.

Max hat dann auf 400-Wort-Chunks mit Overlap umgestellt. Das System funktioniert heute noch.

Praktische Tipps für euer Chunking

1. Startet mit 300 Wörtern und justiert nach
2. Testet mit echten Fragen eurer Nutzer
3. Respektiert Absätze und Kapitel wo möglich
4. Fügt Overlap hinzu (50-100 Wörter)
5. Nutzt Metadaten für bessere Filterung
6. Dokumentiert eure Strategie (ihr werdet sie anpassen müssen)
7. Messt die Qualität der Antworten, nicht nur die Geschwindigkeit

Das Fazit

Chunking ist wie das Schneiden einer Pizza. Zu große Stücke, und keiner kriegt sie in den Mund. Zu kleine Stücke, und keiner weiß mehr, dass es mal eine Pizza war. Die perfekte Größe? Kommt drauf an, wer isst und wie hungrig er ist.

Die gute Nachricht: Ihr müsst das nicht perfekt beim ersten Mal hinbekommen. Startet mit einer vernünftigen Strategie, sammelt Feedback und iteriert. RAG-Systeme sind lebendige Systeme – sie wachsen und lernen mit euch.

Und falls ihr euch immer noch unsicher seid: Fragt euer RAG-System, sobald es läuft. Irgendwo auf Seite 247, Absatz 4 steht bestimmt was dazu. Oder ihr habt den Chunk zu klein gemacht und findet’s nicht mehr. Dann wisst ihr’s wenigstens.

Happy Chunking!