Thinking pro Anfrage abschalten
- Matt
Für schnelle Antworten ohne langes Nachdenken hatte ich in Whipyard zwei Einträge für dasselbe Modell angelegt: einen normalen und einen „nothink“, also eine zweite llama-server-Instanz mit abgeschaltetem Reasoning. Das sah ordentlich aus, war aber teuer. Beide Instanzen passen nicht gleichzeitig in den Speicher, jeder Wechsel war ein kompletter Ladevorgang von elf bis vierzehn Sekunden. Und gewechselt wurde ständig.
Dabei lässt sich das Nachdenken bei Modellen wie Qwen pro Anfrage abschalten, auf der bereits geladenen Instanz:
{
"messages": [ ... ],
"chat_template_kwargs": { "enable_thinking": false }
}
llama-server reicht das an das Chat-Template weiter. Gemessen mit derselben Anfrage: ohne Thinking zehn Sekunden und 113 Token. Mit einem Denkbudget von null dagegen 24 Sekunden und 176 Token, das Budget allein ist also nicht dasselbe wie Abschalten.
Der Haken ist die Qualität. Einfache Nachschlage-Antworten und Pläne mit klarer Struktur waren ohne Thinking genauso gut. Bei Aufgaben mit mehreren Bedingungen ging es schief: falsche Uhrzeiten, ignorierte Vorgaben. Die behalten ihr Nachdenken, nur eben mit eigenem Budget, wie bei den strukturierten Antworten beschrieben. Den Parameter dokumentiert das Server-README von llama.cpp.