Kontextfenster: wie viel ein Modell auf einmal sieht
Definition
Das Kontextfenster ist die Menge an Text, die ein Sprachmodell bei einer Anfrage gleichzeitig berücksichtigen kann, gemessen in Tokens. Alles zusammen, die Anweisung, mitgegebene Dokumente und der bisherige Verlauf, muss in dieses Fenster passen. Es ist das Kurzzeitgedächtnis des Modells: Was nicht hineinpasst, kann in dieser Antwort nicht mitgedacht werden.
Warum der Begriff zählt
Viele erwarten, dass ein Assistent alles auf einmal kennt. Das Kontextfenster setzt dieser Erwartung eine harte Grenze. Ist es voll, wird Älteres verdrängt oder abgeschnitten, und die Antwort verliert an Zusammenhang. Genau deshalb liefert man nicht das ganze Firmenwissen mit, sondern über RAG nur die passenden Ausschnitte. Wer das Fenster versteht, plant Prompts und Wissen so, dass das Wichtige immer hineinpasst.
Wann es relevant ist
- Lange Dokumente oder Verläufe sollen berücksichtigt werden.
- Ein Gespräch zieht sich über viele Schritte und soll Zusammenhang halten.
- Viel Wissen soll einfließen, ohne die Antwort zu überfrachten.
- Antworten wirken zusammenhanglos, weil Wichtiges herausfiel.
Wann nicht
Bei kurzen, klar umrissenen Anfragen spielt die Fenstergröße keine Rolle, weil ohnehin alles bequem hineinpasst. Und ein möglichst großes Fenster ist kein Selbstzweck: Wer wahllos viel hineinlegt, zahlt mehr Tokens und bekommt oft schlechtere, nicht bessere Antworten.
Branchen, die das nutzen
- Recht: lange Verträge, bei denen frühe und späte Klauseln zusammen gelesen werden müssen.
- Beratung: ausführliche Berichte, die als Ganzes eingeordnet werden sollen.
- Softwareentwicklung: größere Codeabschnitte, die im Zusammenhang verstanden werden.
- Kundendienst: lange Gesprächsverläufe, deren roter Faden erhalten bleiben soll.
Typische Anwendungsfälle
- Ein Assistent, der über RAG nur die passenden Passagen ins Fenster holt.
- Eine Zusammenfassung, die einen langen Text in Etappen verarbeitet.
- Ein Gespräch, dessen Verlauf gezielt gekürzt statt komplett mitgeführt wird.
- Die Wahl eines Modells mit größerem Fenster für lange Dokumente.
- Ein Aufbau, der Wichtiges nach vorne stellt, damit es sicher hineinpasst.
Entscheidungshilfe
| Signal | Kontextfenster beachten | Alternative |
|---|---|---|
| Lange Dokumente | passende Ausschnitte via RAG | alles reinlegen sprengt Grenze |
| Langer Gesprächsverlauf | Verlauf gezielt kürzen | Zusammenhang geht verloren |
| Kurze Anfragen | kaum relevant | einfach nutzen |
| Antwort wirkt zusammenhanglos | Fenster und Auswahl prüfen | größeres Modell wählen |
Beispiel
Ein Team will lange Verträge prüfen lassen, die nicht komplett ins Fenster passen. Statt das ganze Dokument zu schicken, holt es über RAG die relevanten Klauseln und ergänzt eine kurze Zusammenfassung des Rests. So bleibt die Antwort im Zusammenhang, ohne die Grenze zu sprengen. Das Beispiel beschreibt die Methode, keine behauptete Kennzahl.
Verbindung zu Services
Den Umgang mit dem Kontextfenster planen wir in jedem persönlichen KI-Assistenten und im Company Brain, damit das Wichtige verlässlich berücksichtigt wird.
Quellen
Diese Einordnung beschreibt gängige Praxis rund um das Kontextfenster. Die Fenstergröße hängt vom gewählten Modell ab und muss zusammen mit Kosten und Aufgabe im Einzelfall geprüft werden.
