Kontextfenster lokaler Modelle - was wirklich hineinpasst
- Matt
Ich lade ein Modell mit angeblich 128k Kontext, füttere es mit einem längeren Log, und nach ein paar tausend Token fängt es an, den Anfang zu vergessen. Der Grund liegt selten am Modell, sondern an Ollama: der Standardwert für num_ctx richtet sich nach dem verfügbaren VRAM, nicht nach dem, was das Modell hergibt. Unter 24 GB sind es 4.000 Token, zwischen 24 und 48 GB 32.000, erst ab 48 GB die vollen 256.000. Für Agenten oder Coding-Tools empfiehlt Ollama selbst mindestens 64.000 - dafür OLLAMA_CONTEXT_LENGTH setzen oder num_ctx im Modelfile hochziehen. Der Haken: jede Verdopplung des Kontexts verdoppelt etwa auch den KV-Cache im Speicher, und der konkurriert mit den Modellgewichten um denselben VRAM. Zu hoch angesetzt, landet das Modell im Swap oder scheitert mit Out-of-Memory, bevor überhaupt ein Token generiert wird.