Open-Source-KI-Modelle im Vergleich heißt 2026 vor allem: Qwen, Llama, Mistral, Gemma und DeepSeek nebeneinander, mit unterschiedlicher Lizenz, Kontextlänge und Tool-Calling-Fähigkeit. Das eine beste Modell gibt es nicht, nur das Modell, das zu deiner Aufgabe, deiner Hardware und deiner Sprache passt. Manche nennen das Feld Open-Source-KI-Modelle, andere Open-Source-LLM, gemeint ist dasselbe: Sprachmodelle, deren Gewichte du herunterladen und auf eigener Hardware betreiben kannst.
Ich betreibe mein Business mit einer KI-Belegschaft aus acht KI-Mitarbeitern auf Claude-Basis, das ist meine Produktionsumgebung. Daneben teste ich, wie weit offene Modelle auf eigener Hardware kommen, aktuell mit einem Nvidia DGX Spark. Alles zu lokaler KI sammle ich auf der Seite KI.
Warum es nicht das eine beste Modell gibt
Wer nach dem besten Open-Source-Modell sucht, stellt meistens die falsche Frage. Ein Modell, das auf einer GPU mit 24 GB gut läuft, kann für eine 128-GB-Maschine zu klein gewählt sein. Ein Modell mit starkem Tool-Calling für Agenten ist nicht automatisch das Modell mit der besten deutschen Textqualität. Und eine Lizenz, die für dein Nebenprojekt unproblematisch ist, kann bei kommerzieller Kundenarbeit anders zu bewerten sein.
Deshalb sortiere ich Modelle nicht in eine einzige Rangliste, sondern nach den Kriterien, die für meine Arbeit tatsächlich zählen. Zu den fünf großen Familien Qwen, Llama, Mistral, Gemma und DeepSeek nenne ich weiter unten, was mit Quelle belegt ist, und ebenso ehrlich, wo die Quellen schweigen.
Meine Auswahlkriterien für ein lokales Modell
Tool-Calling entscheidet zuerst, ob ein Modell für Agenten überhaupt infrage kommt. Ohne verlässliches Tool-Calling kann ein Modell keine Dateien lesen, keine Befehle ausführen und keine Zwischenergebnisse an ein System zurückgeben, das ist für einen Terminal-Agenten wie meinen Pi-Aufbau die Grundvoraussetzung.
Kontextlänge entscheidet, wie viel ein Modell in einem Durchgang überblicken kann, etwa ein ganzes Repository oder ein langes Kundendokument. Ein kleines Kontextfenster zwingt dich zu mehr Zwischenschritten und mehr manueller Steuerung.
Deutsche Qualität prüfe ich mit denselben Prüftexten bei jedem Modell, das ich ernsthaft in Erwägung ziehe, weil Benchmark-Werte fast immer auf Englisch gemessen werden. Für die fünf Familien unten habe ich diesen Test noch nicht durchlaufen lassen, und veröffentlicht hat ihn auch niemand sonst: Eine deutsche Vergleichsseite behauptet zwar, eigene Tests gefahren zu haben, zeigt aber keine Werte. Deshalb nenne ich hier keine Deutschnoten, die ich nicht selbst geprüft habe.
Lizenz entscheidet, ob du ein Modell überhaupt für Kundenarbeit einsetzen darfst. Apache 2.0 und MIT sind vergleichsweise unproblematisch, andere Lizenzen schränken die kommerzielle Nutzung oder die Nutzerzahl ein.
Hardwarebedarf entscheidet zuletzt, was praktisch überhaupt läuft. Ein 27-Milliarden-Parameter-Modell in Q4-Quantisierung braucht eine andere Maschine als ein 1-Milliarde-Parameter-Modell für ein Notebook ohne GPU.
Open-Source-KI-Modelle im Vergleich: was belegt ist und was nicht
Die Tabelle nennt für jede Modellfamilie nur, was mit Quelle belegt ist. Stand: September 2026. Diese Übersicht veraltet schnell, neue Versionen und neue Lizenzbedingungen erscheinen in diesem Feld häufig, prüfe vor einer Entscheidung immer die aktuelle Modellkarte.
| Modellfamilie |
Belegte Version |
Größe |
Lizenz |
Kontext |
| Qwen 3.8 |
27B dense (eine Quelle nennt 28B, ungeklärt) |
27 Milliarden Parameter, NVFP4-Checkpoint 21,9 GB in meinem eigenen Setup |
Apache 2.0 (offizielle Modellkarte) |
262.144 Token nativ, bis 1 Million über YaRN |
| Llama |
3, 3.1, 3.2 genannt |
keine belegte Parameterzahl |
keine belegte Angabe |
keine belegte Angabe |
| Mistral |
7B genannt |
7 Milliarden Parameter (zwei Quellen) |
keine belegte Angabe |
keine belegte Angabe |
| Gemma |
Beispiel gemma3:1b |
1 Milliarde Parameter (kleinstes genanntes Beispiel) |
keine belegte Angabe |
keine belegte Angabe |
| DeepSeek |
V4 Flash, nur als Cloud-API genannt |
keine lokale Größe belegt |
keine belegte Angabe |
keine belegte Angabe |
Für Qwen 3.8 habe ich die dichteste Quellenlage: Die Lizenz Apache 2.0 steht auf der offiziellen Modellkarte. Die Parameterzahl der 27B-Variante ist nicht ganz einheitlich, die meisten Quellen schreiben 27 Milliarden, eine schreibt 28 Milliarden, aufgelöst ist das nirgends. Zu Llama, Mistral, Gemma und DeepSeek finde ich nur Versionsnamen oder ein einzelnes Beispielmodell, aber keine belastbaren Angaben zu Lizenz oder Kontextlänge. Ich nenne hier lieber die Lücke, als eine Zahl zu erfinden, die ich nicht geprüft habe.
Apache 2.0 und Co: was die Lizenz für dich bedeutet
Apache 2.0 erlaubt kommerzielle Nutzung, Veränderung und Weitergabe, ohne dass du Änderungen offenlegen musst, den vollständigen Text findest du bei der Apache Software Foundation. Für Qwen 3.8 ist das die Lizenz auf der offiziellen Modellkarte. Andere offene Modellfamilien laufen unter eigenen Lizenzbedingungen, die etwa die Nutzerzahl, die Namensnennung oder bestimmte Anwendungsfälle einschränken können. Bevor du ein Modell für Kundenarbeit einsetzt, lohnt sich ein Blick in die aktuelle Modellkarte auf der jeweiligen Projektseite, etwa auf Hugging Face, Lizenzbedingungen ändern sich mit neuen Versionen mitunter.
Mein Praxisbeispiel: Qwen 3.8 auf dem DGX Spark
Von den fünf Modellfamilien in diesem Beitrag betreibe ich aktuell nur eine im Alltag: Qwen3.8-27B als NVFP4-Checkpoint unter SGLang auf einem Nvidia DGX Spark mit 128 GB Unified Memory, von denen rund 119 GB nutzbar sind. Bei mir gemessen sind 50,7 Tokens pro Sekunde beim Decodieren und rund 1.500 Tokens pro Sekunde beim Prefill, ein Terminal-Agent namens Pi arbeitet gegen dieses Modell.
Diese Kombination habe ich gewählt, weil Qwen 3.8 laut Modellkarte Tool-Calling, Thinking und Vision mitbringt, mit 262k Kontext nativ genug Spielraum für längere Aufgaben bietet und unter Apache 2.0 lizenziert ist. Llama, Mistral, Gemma oder DeepSeek habe ich in meinem eigenen Setup bisher nicht getestet, ich kann deshalb keine eigene Erfahrung dazu berichten, nur die spärlichen veröffentlichten Angaben wiedergeben. Wie das Setup im Detail aussieht und welche Stolperfallen dabei aufgetreten sind, beschreibe ich in Qwen 3.8 lokal: Erfahrung mit DGX Spark.
Häufige Fragen
Welches Open-Source-Modell ist das beste?
Es gibt keine belegte Antwort, die für jede Aufgabe gilt. Für Agenten mit Tool-Calling und langem Kontext ist Qwen 3.8 nach den Quellen und meiner eigenen Erfahrung eine solide Wahl, für andere Kriterien wie Deutschqualität fehlen mir belastbare Vergleichswerte zu den übrigen Modellfamilien.
Was bedeutet Open Weights im Unterschied zu Open Source?
Open Weights heißt, dass die trainierten Gewichte eines Modells zum Download verfügbar sind. Open Source im engeren Sinn würde zusätzlich Trainingsdaten und Trainingscode offenlegen, das tun die wenigsten der hier genannten Modelle vollständig, meist ist nur von den Gewichten die Rede.
Dürfen Selbstständige mit Llama oder Mistral lokal Kundenarbeit machen?
Das hängt an der jeweils gültigen Lizenz, und die habe ich für Llama und Mistral nirgends belastbar belegt gefunden. Für Qwen 3.8 gilt laut offizieller Modellkarte Apache 2.0, das erlaubt kommerzielle Nutzung ausdrücklich. Prüfe vor dem Einsatz für Kundenprojekte immer die aktuelle Lizenzdatei auf der jeweiligen Projektseite.
Welche Modelle laufen auch ohne dedizierten Server, zum Beispiel Llama lokal auf einem Notebook?
Kleinere Varianten aus mehreren Familien sind für Notebooks gedacht, etwa das Beispielmodell gemma3:1b oder Mistral 7B in Q4-Quantisierung, so steht es in den gängigen Anleitungen. Eigene Messwerte dazu habe ich nicht, ich betreibe aktuell nur Qwen 3.8, dafür allerdings auf dedizierter Hardware.
Ist Apache 2.0 kommerziell nutzbar?
Ja, Apache 2.0 erlaubt kommerzielle Nutzung, Veränderung und Weitergabe ausdrücklich, eine Offenlegung eigener Änderungen ist nicht vorgeschrieben. Details stehen im offiziellen Lizenztext.
Wie du weitermachst
Wenn du selbst einsteigen willst, beginnt der praktische Teil nicht bei der Modellwahl, sondern bei der Einrichtung: Wie du Ollama in wenigen Minuten aufsetzt und wann sich der Schritt zu SGLang lohnt, zeige ich in Lokale KI einrichten: Ollama bis SGLang. Einen breiteren Überblick über lokale KI jenseits einzelner Modellfamilien gebe ich in Lokale KI: was 2026 wirklich geht.
Mein Vorschlag: Leg dich nicht auf ein Modell fest, bevor du deine eigenen Kriterien kennst. Tool-Calling, Kontextlänge, deutsche Qualität, Lizenz und Hardwarebedarf sind bei mir die fünf Fragen, die ich vor jeder Installation kläre, meistens beantwortet mindestens eine davon die Entscheidung schon von selbst.
