Gelesen im April
- Matt
Awesome Selfhosted. Eine Liste, die man nicht durchliest, sondern durchsucht, wenn man für ein Problem etwas Selbstgehostetes sucht. Hat mir zweimal einen Dienst erspart, den ich sonst selbst gebaut hätte.
Die llama.cpp-Diskussionen auf GitHub. Deutlich technischer als die üblichen Beiträge über lokale Modelle, und die Stelle, an der man erfährt, warum eine bestimmte Quantisierung auf einer bestimmten Hardware schneller ist.
Die Beobachtung: Seit der kleine Rechner mit Ollama läuft, ist der Stromverbrauch hier messbar gestiegen, um etwa 12 Euro im Monat bei meiner Nutzung. Das ist verkraftbar, aber es widerlegt die Erzählung, lokale Modelle seien umsonst. Sie sind nur anders bezahlt.