llama.cpp direkt statt Ollama
- Matt
Ich wollte für ein Modell eine feste Kontextgröße von 32k erzwingen, unabhängig davon, welches Modelfile gerade aktiv ist. Bei Ollama sitzt genau das im Modelfile-Parameter num_ctx – ändert man das Modell, ist der Wert wieder weg, und ohne Angabe greift oft ein knapper Default. Also direkt zu llama.cpp: llama-server -m modell.gguf -c 32768 -ngl 999 --port 8080 startet einen Server mit OpenAI-kompatibler API unter /v1/chat/completions, Kontextgröße und GPU-Layer stehen explizit in der Kommandozeile, kein Modelfile dazwischen.
Der Haken: Ollama nimmt einem das Modell-Management ab, ollama pull reicht. Bei llama-server sucht man sich die GGUF-Datei selbst zusammen, meist von Hugging Face, und das Modell bleibt geladen, bis der Server neu startet – kein automatisches Entladen nach Leerlauf wie bei Ollama. Für einen Server, der dauerhaft mit einer festen Konfiguration läuft, ist das kein Problem. Für schnelles Ausprobieren verschiedener Modelle ist Ollama weiter der kürzere Weg.
Installation unter Windows per winget install ggml.llamacpp, alternativ Docker-Image ghcr.io/ggml-org/llama.cpp:server.
Quelle: llama.cpp Server-Dokumentation