Spannend! Mich reizen bei den Open-Source-LLMs besonders diejenigen, die mit Agent Scaffolding als redliche Absicht trainiert wurden. Qwen3.5 35B hat sich schnell zu meinem Favoriten gemausert, es gibt aber noch mehr Netze...

Die Grundidee ist simpel. Ein Modell, welches von Anfang an darauf trainiert wurde, selbstständig zu planen, Tools aufzurufen und Fehler zu korrigieren, ist in der Praxis erstrebenswert. Wie sonst sollten unsere Agentic-Tools, wie Claude Code, OpenCode, Hermes-Agent, OpenClaw und alle anderen eine gute Leistung auf die Straße bringen?

Was mich dabei besonders freut ist dass die Auswahl gerade richtig gut wird. Nemotron-Cascade-2 von NVIDIA, GLM-4.7-Flash von Zhipu, Devstral Small 2 von Mistral sind alle fit für eine einzelne GPU, alle mit klarer agentischer Ausrichtung, alle open-weight.

Und das Beste daran? Ich betreibe das alles lokal auf einer RTX Pro 6000. Dabei habe ich null API-Kosten, keine Datenschutzbedenken, keine Latenz durch Dritte. Das Modell läuft bei mir im Arbeitszimmer und das mit Geschwindigkeiten, bei denen ich vor zwei Jahren noch ungläubig geschaut hätte. Wer also heute noch denkt, lokale KI sei ein Kompromiss gegenüber Cloud-Diensten, dem empfehle ich, mal ein paar aktuelle lokale Netze auszuprobieren.

Sovereign minds use sovereign AI!

Was nutzt ihr gerade lokal für eure Agenten?