Embeddings lokal erzeugen

• KI
• .NET

Dienstag, 21. April 2026 - Matt

Beim RAG-Beitrag kamen die Embeddings noch aus der Cloud. Lokal geht es genauso, und zwar deutlich unkritischer als bei Sprachmodellen:

ollama pull nomic-embed-text

IEmbeddingGenerator<string, Embedding<float>> generator =
    new OllamaApiClient(new Uri("http://homelab:11434"), "nomic-embed-text");

var vektor = await generator.GenerateVectorAsync("Rechnung stornieren");

Embedding-Modelle sind klein, meist unter 500 MB, und laufen auch ohne Grafikkarte flott. Für ein paar tausend Dokumente ist das eine Sache von Minuten.

Wichtig: Die Dimension muss zum Vektorspeicher passen. nomic-embed-text liefert 768 statt der 1536 von OpenAI. Wer das Modell wechselt, muss alles neu einbetten, ein Mischbetrieb ergibt Unsinn.