Eigene Systemprompts als Ollama-Modell
- Matt
Wenn man ein lokales Modell immer mit demselben Systemprompt benutzt, gehört der nicht in den Code:
FROM llama3.1:8b
PARAMETER temperature 0.2
PARAMETER num_ctx 8192
SYSTEM """
Du fasst deutsche Fehlermeldungen in einem Satz zusammen.
Keine Einleitung, keine Hoeflichkeitsfloskeln, keine Vorschlaege.
"""
ollama create fehlerfasser -f Modelfile
ollama run fehlerfasser
Ab da ist fehlerfasser ein Modellname wie jeder andere und lässt sich auch aus C# heraus ansprechen.
temperature 0.2 ist bei solchen Aufgaben wichtiger als der Prompt. Bei der Voreinstellung von 0.8 bekommt man bei gleicher Eingabe unterschiedliche Zusammenfassungen.