Mistral lokal betreiben geht heute mit vier Modellreihen. Ministral 3 (3B, 8B, 14B) und Devstral Small 2 laufen auf einem normalen PC mit Grafikkarte oder einem Mac, Mistral Small 4 mit 119 Milliarden Parametern braucht einen Rechner mit viel Speicher wie den DGX Spark, und Mistral Medium 3.5 mit 128 Milliarden Parametern gehört auf eine Workstation oder einen Server. Ministral, Devstral Small 2 und Small 4 stehen unter Apache 2.0 und sind damit auch kommerziell frei nutzbar. Medium 3.5 hat eine geänderte MIT-Lizenz, die Firmen mit mehr als 20 Millionen US-Dollar Monatsumsatz ausschließt. Das Flaggschiff Mistral Large 4 mit rund einer Billion Parametern hat Mistral am 6. Oktober 2026 als Vorschau gestartet und am 29. Oktober 2026 die Gewichte veröffentlicht. Es steht unter der Mistral Ecosystem Open-Weight License, einer geänderten MIT-Lizenz: kommerziell nutzbar, nur wer das Modell Dritten als Dienst anbietet, braucht eine eigene Lizenz von Mistral. Auf einem einzelnen Rechner läuft Large 4 nicht, schon die NVFP4-Fassung ist 610 GB groß.
Ich betreibe mein Business mit einer Belegschaft aus fünfzehn KI-Mitarbeitern auf Claude-Basis und teste lokale Modelle auf einem DGX Spark. Für diesen Beitrag habe ich kein Mistral-Modell selbst betrieben. Mistral Small 4 habe ich auch in meiner DGX-Messreihe nicht gemessen, weil es nicht unter meine Speicherregel passt. Was hier steht, stammt aus Mistrals Modellkarten, den Ankündigungen von Large 4, Mistrals Doku und der Ollama-Bibliothek, abgerufen am 26.10.2026 und am 15.11.2026 erneut geprüft. Alles zu lokaler KI sammle ich auf der Seite KI.
Die Mistral-Modelle im Überblick: was lokal läuft
Für den Einstieg auf einem gewöhnlichen Rechner sind Ministral 3 und Devstral Small 2 die Kandidaten. Ministral ist laut Mistral für „edge deployment“ gebaut, also für kleine Geräte, Devstral Small 2 für Coding-Agenten, die Code durchsuchen und mehrere Dateien ändern. Mistral Small 4 vereint laut Karte die bisherigen Reihen für Chat, Reasoning und Coding in einem Modell und versteht neben Deutsch Dutzende weitere Sprachen. Es aktiviert je Token nur 6,5 Milliarden Parameter, braucht für alle 119 Milliarden aber trotzdem Speicher.
Die Lizenzen: Apache 2.0 und eine Umsatzgrenze
Ich bin Entwickler, kein Anwalt. Das ist keine Rechtsberatung, sondern die Betreiber-Perspektive: meine Lesart der Lizenztexte.
Apache 2.0 gilt für Ministral 3, Devstral Small 2, Mistral Small 4 und Mistral Large 3. Mistral schreibt dazu etwa auf der Karte von Ministral 3: „Open-source license allowing usage and modification for both commercial and non-commercial purposes.“ Für ein kleines Unternehmen, das ein Modell im eigenen Netz oder in einem Produkt für Kunden nutzt, gibt es damit keine Umsatzgrenze.
Modified MIT gilt für Mistral Medium 3.5. Der entscheidende Satz im Lizenztext lautet: „You are not authorized to exercise any rights under this license if the global consolidated monthly revenue of your company (or that of your employer) exceeds $20 million (or its equivalent in another currency) for the preceding month.“ Wer darüber liegt, kann laut Lizenz bei Mistral eine kommerzielle Lizenz anfragen oder das Modell über Mistrals Dienste nutzen. Für die meisten Selbstständigen und kleinen Firmen greift die Grenze nicht.
Mistral Ecosystem Open-Weight License gilt für Mistral Large 4. Auch sie ist eine geänderte MIT-Lizenz, hat aber keine Umsatzgrenze. Die entscheidende Bedingung lautet: „If the Licensee or any of its affiliates operates a Model as a Service business, the Licensee must enter into a separate commercial license with Mistral before using the Model or its derivative works for any commercial purpose.“ Als Model as a Service zählt laut Lizenz, wenn Dritte über eine API oder einen gehosteten Endpunkt auf das Modell zugreifen und dabei Eingaben, Parameter oder Trainingsdaten wesentlich steuern können. Ausgenommen sind die interne Nutzung und Produkte, in die das Modell nur als Teil bestimmter Funktionen eingebaut ist. Nutzt du Large 4 im eigenen Unternehmen oder eingebaut in eine Funktion deines Produkts, greift die Bedingung nach meiner Lesart nicht.
Wie die Mistral-Lizenzen im Vergleich zu Llama, Qwen oder DeepSeek dastehen, zeigt mein Beitrag über Open-Weight-Lizenzen.
Warum Mistral für Unternehmen in Deutschland interessant ist
Mistral ist ein europäischer Anbieter und hat am 28. September 2026 einen Standort in München eröffnet. In der Ankündigung schreibt Mistral über seine offenen Gewichte: „Our models run on the customer's own infrastructure, trained on their data, operated under European law, with full auditability and no data leaving the organization.“ Das gilt so nur, wenn du das Modell tatsächlich selbst betreibst. Nutzt du Mistral über die API oder Le Chat, ist es ein Cloud-Dienst wie jeder andere, mit Vertrag, Auftragsverarbeitung und allen Fragen, die dazu gehören.
Für Large 4 kündigt Mistral außerdem einen Betrieb in Europa an, „that Mistral operates end-to-end, independently of other digital service providers and under European law“. Auch das betrifft die API, nicht den lokalen Betrieb. Den Unterschied zwischen eigenem Server und Cloud beim Datenschutz beschreibe ich in Lokale KI und Datenschutz: Cloud oder Server?.
Mistral lokal starten: Ollama, llama.cpp, vLLM
Am einfachsten geht es mit Ollama. Ministral 3 und Devstral Small 2 stehen in der Bibliothek und laufen mit einem Befehl:
ollama run ministral-3:14b
ollama run devstral-small-2
Mistral Small 4 hatte auch am 15.11.2026 keinen Eintrag in der Ollama-Bibliothek. Mistral empfiehlt auf der Karte vLLM und verweist für llama.cpp auf GGUF-Dateien von Unsloth. Auch SGLang wird genannt. Das Beispiel auf der Karte startet das Modell in vLLM über zwei GPUs mit dem vollen Kontext von 262.144 Tokens. Daneben gibt es eine NVFP4-Fassung mit 70,8 GB für aktuelle Nvidia-Hardware.
Mistral Medium 3.5 steht in Ollama, in 4 Bit mit 80 GB. Auf der Karte steht ein Hinweis, den du kennen solltest: Die Transformers-Konfiguration hatte anfangs einen falschen Eintrag, der bei langem Kontext die Leistung verschlechterte. Laut Mistral sind auch GGUF-Dateien betroffen, die vor der Korrektur erzeugt wurden. Nutze deshalb eine aktuelle Fassung.
Wie du die Werkzeuge selbst einrichtest, vom Mac mit Ollama bis zum Server mit vLLM und SGLang, steht in Lokale KI einrichten: Ollama bis SGLang. Welche Fremdmessungen es zu Mistral Small 4 auf dem DGX Spark gibt, steht in Beste Modelle für den DGX Spark, gemessen.
Mistral Large 4: was feststeht und was fehlt
Mistral hat Large 4 am 6. Oktober 2026 als öffentliche Vorschau gestartet. Laut Ankündigung hat es eine Billion Parameter, davon 52 Milliarden aktiv, verarbeitet Text und Bilder und wurde auf 3.800 Nvidia-Grace-Blackwell-GPUs in Mistrals eigenen Rechenzentren in Europa trainiert. Die Trainingsdaten umfassen laut Mistral mehr als 160 Sprachen, darunter alle Amtssprachen der EU. Seit dem 5. November 2026 ist Large 4 in Mistrals API allgemein verfügbar und kostet laut Mistral 0,70 US-Dollar je Million Eingabe-Tokens, 0,07 US-Dollar für zwischengespeicherte Eingaben und 2,10 US-Dollar je Million Ausgabe-Tokens. In der Vorschau waren es 1,36 und 4,18 US-Dollar.
Die Gewichte hat Mistral am 29. Oktober 2026 auf Hugging Face veröffentlicht, als verbesserte Fassung nach drei weiteren Wochen Reinforcement Learning. Es gibt eine Hauptfassung mit 1.061 GB und eine NVFP4-Fassung mit 610 GB, die auf Nvidias Blackwell-GPUs B200, B300, GB200 und GB300 zielt. Mistral empfiehlt vLLM und nennt daneben SGLang, Transformers und llama.cpp. Die Beispielbefehle auf der Karte verteilen das Modell auf 8 GPUs. In Ollama gibt es Large 4 am 15.11.2026 weiter nur als Cloud-Modell.
Auch mit offenen Gewichten ist Large 4 kein Modell für deinen Schreibtisch. Die NVFP4-Fassung braucht 610 GB nur für die Gewichte, mehr als die rund 500 GB, die eine Billion Parameter in reinen 4 Bit rechnerisch ergäben, weil Mistral einen Teil der Schichten in FP8 belässt. Nvidia nennt für vier verbundene DGX Spark mit zusammen 512 GB Modelle bis 700 Milliarden Parameter. Zum Vergleich: Für den Vorgänger Large 3 mit 675 Milliarden Parametern nennt Mistral einen ganzen Knoten mit B200- oder H200-GPUs. Für ein Unternehmen heißt „Large 4 lokal“ also: eigener Server im Rechenzentrum oder gemietete GPUs.
Häufige Fragen
Kann ich Mistral lokal kostenlos nutzen?
Ja, Ministral 3, Devstral Small 2 und Mistral Small 4 stehen unter Apache 2.0 und kosten keine Lizenzgebühr, auch nicht für kommerzielle Nutzung. Du zahlst nur für Hardware und Strom. Bei Medium 3.5 gilt die Umsatzgrenze von 20 Millionen US-Dollar im Monat.
Welches Mistral-Modell läuft auf einem normalen PC oder Mac?
Ministral 3 in 8B oder 14B und Devstral Small 2. Für Devstral Small 2 nennt Mistral eine einzelne RTX 4090 oder einen Mac mit 32 GB Arbeitsspeicher, in Ollama ist es 15 GB groß. Ministral 3 14B passt laut Mistral in FP8 in 24 GB Grafikspeicher.
Ist Mistral Large 4 Open Source?
Mistral hat die Gewichte am 29. Oktober 2026 veröffentlicht, unter der Mistral Ecosystem Open-Weight License, einer geänderten MIT-Lizenz. Mistral selbst spricht von einem Open-Weight-Modell. Du darfst Large 4 auch kommerziell nutzen und verändern; wer es Dritten als Dienst über eine API anbietet, braucht eine eigene Lizenz von Mistral.
Läuft Mistral Small 4 in Ollama?
Am 15.11.2026 hatte die offizielle Ollama-Bibliothek keinen Eintrag für Mistral Small 4. Mistral empfiehlt vLLM und verweist für llama.cpp auf GGUF-Dateien von Unsloth.
Ist Mistral datenschutzfreundlicher als ein US-Anbieter?
Lokal betrieben verlässt kein Text dein Netz, egal von welchem Hersteller das Modell kommt. Über Mistrals API ist es ein Cloud-Dienst, für den du wie bei jedem Anbieter Vertrag und Auftragsverarbeitung prüfen musst. Für Large 4 kündigt Mistral einen eigenen Betrieb in Europa an. Das ist keine Rechtsberatung.
Wie du weitermachst
Für den Einstieg auf deinem eigenen Rechner reicht ollama run ministral-3:14b, die Schritte dazu stehen in Lokale KI einrichten: Ollama bis SGLang. Wenn du für Small 4 oder Medium 3.5 eigene Hardware planst, helfen dir Eigener KI-Server: Hardware und Kosten und KI-Server für kleine Unternehmen. Einen Überblick über alle offenen Modelle gebe ich in meinem Vergleich der Open-Source-KI-Modelle. Welche Modelle in Ollama lokal laufen und welche nur in der Cloud, steht in Ollama-Modelle: lokal oder nur in der Cloud?.
