KI on-premises: Was die vielzitierten 82 Prozent wirklich bedeuten

Durch die Fachpresse läuft seit Monaten eine Zahl: 82 Prozent der Unternehmen wollen KI zumindest teilweise on-premises oder am Edge betreiben. Sie klingt nach einer Trendwende – weg von der Cloud, zurück ins eigene Rechenzentrum. Wir haben nachgesehen, woher die Zahl stammt. Das Ergebnis ist lehrreich, und zwar in beide Richtungen.

Was die Zahl wirklich sagt

Die Quelle ist das IDC CIO Playbook 2026, erstellt im Auftrag von Lenovo – also von einem Hersteller, der genau die Hardware verkauft, um die es geht. Das macht die Studie nicht wertlos, gehört aber zur Einordnung.

Wichtiger ist die Stichprobe: Befragt wurden 800 Unternehmen in Europa und Nahost, sämtlich ab 1.000 Mitarbeitenden. Kein einziges mittelständisches Unternehmen im heutigen Sinne. Und die Zahlen für Deutschland fallen deutlich anders aus als die oft zitierten europäischen:

	Hybrid	on-prem/Edge insgesamt	nur Public Cloud
Europa & Nahost	58 %	82 %	18 %
Deutschland	50 %	75 %	25 %

Deutschland liegt beim Hybrid-Ansatz also unter dem europäischen Schnitt und hat den höchsten Anteil reiner Public-Cloud-Nutzer. Wer die 82 Prozent als Beleg für einen deutschen On-Premises-Trend anführt, zitiert die falsche Zeile.

Die Gegenevidenz, die man kennen sollte

Es kommt noch unbequemer. Der Cloud-Monitor von KPMG und Bitkom befragt deutsche Unternehmen ab 50 Mitarbeitenden – also tatsächlich den Mittelstand. Dort geben 96 Prozent der Cloud-Nutzer an, KI aus der Cloud zu beziehen. Das klassische eigene Rechenzentrum spielt für KI-Workloads nur noch bei 13 Prozent eine Rolle, Tendenz fallend.

Beide Befunde nebeneinander ergeben ein realistisches Bild: Konzerne bauen hybride KI-Architekturen. Der Mittelstand nutzt KI ganz überwiegend aus der Cloud. Wer etwas anderes behauptet, verkauft Ihnen etwas.

Warum das Thema trotzdem auf die Tagesordnung gehört

Denn parallel bewegt sich etwas anderes, und das ist gut belegt. Der Bitkom Cloud Report 2026 zeigt, dass 85 Prozent der befragten deutschen Unternehmen sich zu abhängig von US-Anbietern fühlen und 64 Prozent ihre Cloud-Strategie wegen der politischen Lage überdenken. In der KI-Studie des Bitkom sagen 93 Prozent, sie würden deutsche KI-Anbieter bevorzugen – während 70 Prozent faktisch ChatGPT nutzen.

Diese Lücke zwischen Wunsch und Praxis ist der eigentliche Punkt. Und die Optionen, sie zu schließen, sind 2026 deutlich besser geworden:

• Die AWS European Sovereign Cloud ist seit Januar 2026 mit einer Region in Brandenburg live.
• Microsoft und Google bauen souveräne Angebote in Deutschland aus.
• Vor allem aber sind die offenen Modelle erwachsen geworden: Mistral Large 3, Qwen, DeepSeek, gpt-oss und Gemma stehen unter echten Open-Source-Lizenzen (Apache 2.0 bzw. MIT) – nicht mehr unter Bastellizenzen. Der Qualitätsabstand zu den geschlossenen Spitzenmodellen liegt bei etwa vier bis sechs Monaten.

Für die Aufgaben, die im Mittelstand tatsächlich anfallen – Dokumente durchsuchbar machen, Inhalte klassifizieren, Informationen extrahieren, Fragen auf dem eigenen Wissensbestand beantworten – ist dieser Abstand praktisch bedeutungslos. Er zählt bei hochkomplexen Agenten-Aufgaben, nicht bei RAG.

Die einzige Frage, die über die Kosten entscheidet

Hier wird es unangenehm konkret, denn im Netz kursieren Faustregeln („ab zwei Millionen Token pro Tag lohnt sich On-Premises“), die methodisch nicht belastbar sind. Was sich seriös sagen lässt:

Der Preisabstand zwischen selbst gehosteten offenen Modellen und den großen API-Anbietern ist real und beträgt ein Vielfaches pro Token. Aber der Break-even hängt fast vollständig an der Auslastung. Eine GPU, die zu fünf Prozent ausgelastet ist, kostet Sie ein Mehrfaches dessen, was dieselbe Arbeitslast über eine API gekostet hätte – Hardware amortisiert sich nur, wenn sie läuft. Deloitte nennt als Orientierung: Eigenbetrieb wird interessant, wenn die Cloud-Kosten 60 bis 70 Prozent der Anschaffungskosten eines gleichwertigen eigenen Systems übersteigen.

Die praktische Konsequenz: Rechnen Sie nicht mit Token-Preisen, rechnen Sie mit Auslastung. Wer sporadisch KI nutzt, fährt mit der Cloud günstiger – und zwar deutlich.

Wann On-Premises trotzdem die richtige Antwort ist

Nicht wegen der Kosten, sondern wegen der Daten. In der IDC-Befragung ist Datenschutz und Compliance in Deutschland der Treiber Nummer eins für On-Premises-Betrieb – nicht der Preis. Und das deckt sich mit unserer Projekterfahrung: Personenbezogene Daten, Konstruktionsdaten, Patientendaten oder Verträge, die das Haus nicht verlassen dürfen, sind ein hinreichender Grund, unabhängig von jeder Wirtschaftlichkeitsrechnung.

Der pragmatische Mittelweg heißt in den meisten Projekten nicht „alles oder nichts“, sondern: sensible Daten im eigenen Haus verarbeiten, unkritische Workloads in der Cloud – genau das, was die Studien „hybrid“ nennen.

Fazit

Die 82 Prozent sind keine Aufforderung, Ihre KI ins eigene Rechenzentrum zu holen. Sie sind ein Konzern-Befund, in Auftrag gegeben von einem Hardwarehersteller. Die richtige Frage für ein mittelständisches Unternehmen lautet nicht „Cloud oder on-premises?“, sondern: Welche Daten dürfen das Haus nicht verlassen – und wie hoch ist die Auslastung? Aus den Antworten ergibt sich die Architektur von selbst. Meistens ist sie hybrid.

Wie sich das mit belegbaren Antworten auf Ihren eigenen Daten umsetzen lässt, beschreiben wir bei der KI-Beratung; zur Frage Public, Private oder Hybrid gehen wir auf der Seite Cloud-Migration ins Detail.

Quellen: IDC CIO Playbook 2026 („The Race for Enterprise AI“, Europe & Middle East, im Auftrag von Lenovo, n=800, Unternehmen ab 1.000 Mitarbeitenden, Erhebung September/Oktober 2025); KPMG/Bitkom Cloud-Monitor; Bitkom Cloud Report 2026; Deloitte Tech Trends 2026. Stand: 14. Juli 2026.