Ein KI-Server für kleine Unternehmen lohnt sich in drei Fällen: wenn ihr regelmäßig Daten verarbeitet, die kein externer Anbieter sehen soll (Patientenakten, Mandantenunterlagen, Verträge mit Geheimhaltung), wenn eure Cloud-Rechnung für KI dauerhaft über die Kosten eines eigenen Rechners hinauswächst, oder wenn jemand im Haus Freude daran hat, einen Linux- oder Mac-Server zu betreiben. Trifft keiner der drei Fälle zu, reicht ein Cloud-Dienst mit Auftragsverarbeitungsvertrag (AVV), und du sparst dir Anschaffung, Strom und Wartung. Der eigene Server nimmt dir den AVV nur dann ab, wenn kein externer Anbieter, Hoster oder Administrator mit Zugriff auf die Daten beteiligt ist; alle anderen Datenschutzpflichten bleiben. Dieser Beitrag ist die Entscheidungshilfe dafür, keine Bauanleitung.
Ich betreibe beides. Meine KI-Belegschaft läuft auf Claude; daneben steht seit Dezember 2025 ein Nvidia DGX Spark in meinem Netz, auf dem ein offenes Modell läuft. Was ich über Anschaffung, Betrieb und Pflichten gelernt habe, steht hier; alles Grundsätzliche sammle ich auf der Seite KI.
KI-Server für kleine Unternehmen: vier Fragen vor der Entscheidung
Die Entscheidung fällt nicht über die Technik, sondern über vier Fragen, die du in einer halben Stunde mit deinem Team klären kannst.
- Welche Datenklasse verarbeitet die KI? Öffentliche Texte (Website, Marketing), interne Dokumente, personenbezogene Daten oder Vertrauliches mit Berufsgeheimnis nach § 203 StGB (Ärzte, Anwälte, Steuerberater). Je höher die Klasse, desto stärker spricht sie für lokal oder für einen Cloud-Anbieter mit belastbarem AVV.
- Wie viele Personen nutzen die KI gleichzeitig? Ein einzelner Rechner mit einem Modell bedient eine Person flüssig. Ollama verarbeitet Anfragen auch parallel und stellt sie in eine Warteschlange, steht laut Ollama-FAQ (abgerufen 18.09.2026) aber standardmäßig auf einer Anfrage je Modell (
OLLAMA_NUM_PARALLEL 1, Warteschlange OLLAMA_MAX_QUEUE 512); der Speicherbedarf skaliert dort mit Parallelität mal Kontextlänge. Für höheren Durchsatz und niedrigere Latenz bei vielen gleichzeitigen Nutzern sind Inferenz-Server wie vLLM oder SGLang sinnvoll, und die brauchen mehr Betriebswissen.
- Wer betreibt die Kiste? Ein KI-Server ist ein Server: Updates, Neustarts, Speicherplatz, Backups, Zugriff aus dem Homeoffice. Ohne eine Person, die das gern macht, steht er nach dem dritten Ausfall nur noch herum.
- Was gibt ihr heute für KI in der Cloud aus? Wer unter 20 Euro im Monat zahlt, kauft für einen Server nichts zurück. Diese Schwelle stammt aus einem Vergleich von ki-mittelstand.eu vom 23.08.2026: unter 20 Euro Cloud, 20 bis 200 Euro eine gemietete GPU prüfen, über 200 Euro im Monat oder bei sensiblen Daten eigene Hardware. Das ist eine Heuristik des Autors, keine Rechnung für deinen Betrieb.
Wann Cloud mit AVV reicht: mein eigener Fall
Meine KI-Belegschaft arbeitet auf Claude, und für geschäftliche Daten nutze ich Claude Team, weil Anthropic dafür einen Auftragsverarbeitungsvertrag anbietet. Was der Team-Plan kostet und wann er sich lohnt, habe ich in Claude Team: Kosten und wann es lohnt beschrieben; die Preise mit Stand September 2026 stehen in Claude Kosten und Abos im Überblick: Team ab 20 Dollar je Sitz und Monat.
Ein Beispiel dafür, wo Cloud völlig ausreicht: Am 02.09.2026 habe ich Sebastian, meinen SEO-Mitarbeiter, per Sprachnotiz gebeten, meine Website zu prüfen. Er hat nach 41 Sekunden nachgefragt, welche Website ich meine, und nach 30 Minuten und 38 Sekunden einen Bericht geliefert. Die Daten dabei: meine öffentliche Website und Messwerte aus Werkzeugen. Nichts davon ist schützenswert, ein eigener Server hätte hier nur Zeit gekostet.
Der Spark kommt bei mir dort ins Spiel, wo ich ein Modell ohne Cloud-Anbieter laufen lassen will: als Testfeld für eine Claude-Code-Alternative ohne Cloud, die ich Kunden anbieten kann. Die Rechtslage der beiden Wege steht in Lokale KI und Datenschutz: Cloud oder Server?; hier geht es um die Entscheidung.
Datenschutz: was bei lokal wegfällt und was bleibt
Das ist keine Rechtsberatung. Ich gebe wieder, was im Gesetz und in der Orientierungshilfe der deutschen Datenschutzaufsicht steht und wie ich es für meinen Betrieb lese.
Was wegfällt: Ein Auftragsverarbeitungsvertrag ist nach Art. 28 DSGVO nur dann vorgesehen, wenn „eine Verarbeitung im Auftrag eines Verantwortlichen" durch einen Auftragsverarbeiter stattfindet. Läuft das Modell auf eurem eigenen Rechner ohne externen Anbieter, gibt es keinen Auftragsverarbeiter, also auch keinen AVV. Das ist meine Schlussfolgerung aus dem Gesetzestext, kein Zitat einer Behörde. Die Datenschutzkonferenz (DSK) schreibt in ihrer Orientierungshilfe „Künstliche Intelligenz und Datenschutz" vom 06.05.2024 umgekehrt, dass bei einer KI-Anwendung „als Cloud-Lösung" zwischen Anbieter und Verantwortlichem „häufig ein Auftragsverarbeitungsverhältnis gemäß Art. 28 f. DS-GVO" besteht, und dass die Verarbeitung in geschlossenen Systemen „in einer eingegrenzten und technisch abgeschlossenen Umgebung" erfolgt: „Technisch geschlossene Systeme sind daher aus datenschutzrechtlicher Sicht vorzugswürdig."
Was bleibt: Dieselbe Orientierungshilfe sagt, dass für „jeden Verarbeitungsschritt, bei dem mit Hilfe einer KI-Anwendung personenbezogene Daten verarbeitet werden", eine Rechtsgrundlage nötig ist. Dazu kommen Transparenz gegenüber Betroffenen, die Betroffenenrechte, die Einbindung von Datenschutzbeauftragten und Beschäftigtenvertretung, soweit im konkreten Unternehmen erforderlich beziehungsweise vorhanden, sowie interne Regelungen, wer die KI wofür nutzen darf. Das Verzeichnis von Verarbeitungstätigkeiten nach Art. 30 DSGVO kennt zwar eine Ausnahme für Betriebe unter 250 Beschäftigten, aber nur bei gelegentlicher Verarbeitung ohne Risiko und ohne besondere Datenkategorien; sobald Kundendaten regelmäßig durch ein Modell laufen, greift die Ausnahme in der Praxis selten. Datenschutz-Folgenabschätzung, technische und organisatorische Maßnahmen und die Pflichten aus der KI-Verordnung der EU bleiben zu prüfen, unabhängig davon, wo das Modell läuft.
Ein lokaler Server macht dich also nicht automatisch DSGVO-konform. Er streicht einen Vertrag von der Liste und gibt dir die Kontrolle über Ein- und Ausgabedaten; der Rest ist Organisation. Was die KI in deinem Betrieb überhaupt sehen darf, habe ich in KI und Datenschutz: was die KI sehen darf sortiert.
Vier Wege im Vergleich: Kosten, Betrieb, Datenschutz, für wen
Alle Preise mit Stand und Quelle; Tagespreise prüfen.
Der Mac mini und der Spark sind nach meiner Einschätzung die beiden Klassen, die für kleine Unternehmen tatsächlich in Frage kommen; beide stehen unter dem Schreibtisch. Der Unterschied liegt im Speicher (maximal 64 GB beim Mac mini gegen 128 GB beim Spark) und darin, dass der Spark ein Linux-System ist, das du wie einen Server pflegst. Den Hardware-Vergleich mit Budgets habe ich in Eigener KI-Server: Hardware und Kosten ausführlicher gemacht; den Mac-Weg in Lokale KI auf dem Mac: Mini als KI-Server.
Was Betrieb bedeutet: mein DGX Spark als Beispiel der Mittelklasse
Ich habe den Spark im Dezember 2025 direkt bei Nvidia bestellt und dafür rund 4.000 bis 4.200 Euro bezahlt; in der Tabelle steht der Händlerpreis vom September 2026, weil sich der Preis seitdem bewegt hat. Auf dem Gerät läuft Qwen3.8-27B als komprimierter Checkpoint mit 21,9 GB unter SGLang, mit einer OpenAI- und Anthropic-kompatiblen Schnittstelle, sodass Werkzeuge im Netz es wie einen Cloud-Dienst ansprechen. Gemessen habe ich 50,7 Tokens pro Sekunde für einen einzelnen Nutzer, vom MacBook über das Tailnet.
Was die Zahl nicht zeigt, ist der Weg dorthin. Vier Dinge haben mich Zeit gekostet, und genau das meine ich mit Betrieb:
- Downloads. Mein Standort hat rund 2 MB pro Sekunde Internet. Ein Modell-Download von 70 GB dauert damit Stunden. Bevor du einen Server kaufst, prüfe die Leitung.
- Speicher-Einstellung. Beim Spark teilen sich CPU und GPU denselben Speicher. Stellst du den Anteil für das Modell zu hoch ein (bei mir alles über 0,50), kann der ganze Rechner einfrieren.
- Rechte. Auf dem Gerät gibt es kein passwortloses sudo. Damit der Dienst nach einem Neustart von allein wieder läuft, brauchte ich systemd-User-Units mit Linger. Das ist Linux-Alltag, keine Klick-Installation.
- Startzeit. Der erste Start des Modells hat rund 9 Minuten gedauert, weil kompiliert wird; danach sind es 5 bis 7 Minuten.
Jeder dieser Punkte ist lösbar. Aber jeder braucht eine Person, die weiß, was ein Dienst, ein Log und ein Speicheranteil ist. In einem Betrieb mit fünf Leuten ist das oft niemand, und dann ist der Server ein Risiko statt einer Entlastung. Den ausführlichen Erfahrungsbericht findest du in DGX Spark im Test: lohnt sich der Kauf?.
Laufende Kosten: Strom, Zeit, Updates
Der Kaufpreis ist nur ein Teil. Für eine GPU-Workstation rechnet der Hardware-Guide von ki-mittelstand.eu (März 2026) mit 470 bis 1.440 Euro Strom im Jahr bei 0,30 Euro je Kilowattstunde, je nach Auslastung. Für den Spark habe ich keinen gemessenen Wert; das Netzteil ist laut Nvidia-Produktseite mit 240 Watt angegeben, was der Rechner zieht, habe ich nicht an der Steckdose gemessen.
Die größere Position ist Zeit. Ein Rechenbeispiel von tomczak.dev vom 14.08.2026 für einen Enterprise-Server setzt 1.500 Euro im Monat für Personal an, neben 833 Euro Abschreibung und 200 Euro Strom; der Kaufpreis ist dort nur ein Drittel der Gesamtkosten. Die Größenordnung passt nicht auf einen Mac mini, die Aussage schon: Wer den Betrieb nicht selbst leisten kann, zahlt ihn an einen Dienstleister, und dann sind die 25 Dollar je Person für die Cloud schnell die günstigere Rechnung.
Dazu kommen Updates: Modelle werden alle paar Monate abgelöst, Inferenz-Server ändern ihre Parameter, Treiber wollen gepflegt werden.
Entscheidungsweg für 1 bis 20 Mitarbeitende
So würde ich es einem Kunden aufschreiben, in fünf Schritten:
- Datenklasse bestimmen. Liste die drei häufigsten KI-Aufgaben und ordne jeder die Datenklasse zu. Steht bei keiner „personenbezogen" oder „Berufsgeheimnis", ist Cloud mit AVV der Standard.
- Cloud-Ausgaben und Nutzerzahl notieren. Was zahlt ihr heute, wie viele Personen nutzen es. Unter 20 Euro im Monat und eine bis drei Personen: bleib in der Cloud.
- Betriebskompetenz ehrlich prüfen. Gibt es jemanden, der einen Linux-Dienst nach einem Absturz wieder hochbekommt? Nein: Mac mini oder Cloud. Ja: Spark oder Workstation.
- Klein anfangen. Ein Mac mini mit Ollama oder LM Studio und einem Modell wie Qwen 3.8 zeigt in einer Woche, ob die Qualität für eure Aufgaben reicht. Wie das geht, steht in Qwen 3.8 mit Ollama installieren.
- Pflichten parallel erledigen. Rechtsgrundlage, Verzeichnis, interne Regelung, wer die KI womit füttern darf. Das dauert länger als die Installation und ist unabhängig von der Hardware.
Häufige Fragen
Brauche ich für lokale KI noch einen AV-Vertrag?
Nach meiner Lesart von Art. 28 DSGVO nicht, solange das Modell auf eurer eigenen Hardware ohne externen Anbieter läuft: Es gibt dann keinen Auftragsverarbeiter. Sobald ein Dienstleister den Server hostet oder wartet und dabei Zugriff auf die Daten hat, ändert sich das. Das ist keine Rechtsberatung, frag deine Datenschutzberatung.
Was kostet ein KI-Server für eine kleine Firma?
Mit Stand September 2026: ein Mac mini M5 Pro ab 1.999 Euro (ComputerBase, 25.08.2026), ein DGX Spark 5.180 Euro netto (Nelpx, 16.09.2026), eine GPU-Workstation mit 32 GB VRAM rund 3.500 bis 5.000 Euro (ki-mittelstand.eu, 23.08.2026). Dazu kommen Strom und die Arbeitszeit für den Betrieb.
Reicht ein Mac mini als KI-Server für fünf Mitarbeiter?
Für fünf Personen, die nacheinander Texte zusammenfassen oder Mails entwerfen, nach meiner Einschätzung ja; für fünf Personen gleichzeitig mit langen Dokumenten eher nicht: Ollama bearbeitet laut FAQ je Modell standardmäßig eine Anfrage und stellt den Rest in die Warteschlange. Die Parallelität lässt sich hochsetzen, dann steigt aber der Speicherbedarf mit Parallelität mal Kontextlänge. Gemessen habe ich das auf einem Mac mini nicht.
Ist lokale KI automatisch DSGVO-konform?
Nein. Die DSK nennt geschlossene Systeme „vorzugswürdig", aber Rechtsgrundlage, Transparenz, Betroffenenrechte, Verzeichnis und interne Regelungen gelten unabhängig davon, wo das Modell läuft. Lokal nimmt dir den AVV ab, nicht die Organisation.
Welche lokalen KI-Modelle darf ich im Unternehmen einsetzen?
Rechtlich entscheiden die Lizenz des Modells und deine Verarbeitung. Offene Modelle wie Qwen 3.8 kommen mit einer Lizenz, die du vor dem Einsatz liest; ob du damit personenbezogene Daten verarbeiten darfst, ist eine Frage deiner Rechtsgrundlage. Welche offenen Modelle es gibt, steht in Open-Source-KI-Modelle im Vergleich.
Kann ich Cloud und eigenen Server kombinieren?
Ja, das ist mein eigenes Setup: Claude Team mit AVV für die Belegschaft, der Spark für Aufgaben ohne externen Anbieter. Die Kombination verlangt eine klare interne Regel, welche Daten wohin dürfen.
Wie du weitermachst
Wenn du noch am Anfang stehst, lies zuerst KI für kleine Unternehmen einführen: Dort geht es um die ersten Aufgaben, nicht um Hardware. Wenn die vier Fragen oben Richtung eigener Server zeigen, ist Eigener KI-Server: Hardware und Kosten der nächste Schritt, und DGX Spark kaufen: Preis und Alternativen der Kaufvergleich für die Mittelklasse. Bleibt es bei der Cloud, prüfe den AVV deines Anbieters; für Claude habe ich das in Claude Datenschutz und DSGVO: was gilt getan.
Mein Rat zum Schluss: Kauf keinen Server, weil er sich sicher anfühlt. Kauf ihn, wenn die Datenklasse ihn verlangt und jemand im Haus ihn betreiben will. Sonst ist Cloud mit AVV die ehrlichere Entscheidung, und die gesparte Zeit steckst du in die Regeln, die mit oder ohne Server nötig sind.
