KI-Hardware (GPU & Co.)

KI-Hardware bezeichnet die Rechentechnik, auf der künstliche Intelligenz trainiert und ausgeführt wird. Im Zentrum stehen Grafikprozessoren (GPUs) von Herstellern wie NVIDIA oder AMD, die – anders als klassische Prozessoren (CPUs) – tausende Berechnungen parallel ausführen können. Das macht sie für die massenhaften Matrixoperationen geeignet, aus denen neuronale Netze bestehen.

Daneben gibt es spezialisierte Chips: TPUs (Tensor Processing Units) entwickelt Google für die eigene Cloud, NPUs (Neural Processing Units) stecken mittlerweile in vielen Laptops und Smartphones für stromsparende KI-Funktionen vor Ort.

Vergleichbar mit einem Fuhrpark: Ein Unternehmen kann Lastwagen kaufen (eigene Hardware, On-Premise-KI) oder bei Bedarf mieten (Cloud-KI). Eigene GPUs lohnen sich meist nur bei dauerhaft hoher Auslastung oder strengen Datenschutzanforderungen.

Für den laufenden Betrieb fertiger KI-Modelle (Inferenz) reicht deutlich weniger Rechenleistung als für deren Training. Viele Standardanwendungen wie Chatbots oder Dokumenten-KI laufen deshalb ohne eigene Hardware über die Programmierschnittstelle (API) eines Anbieters.

Für die meisten mittelständischen Unternehmen bedeutet KI-Hardware zunächst eine Entscheidung, keine Anschaffung: Wird eine Lösung über die Cloud oder das API eines Anbieters genutzt, entfällt die Investition in eigene GPUs vollständig. Das senkt das Risiko von Fehlinvestitionen, weil Rechenleistung je nach Bedarf hoch- oder abskaliert werden kann, statt teure Hardware zu kaufen, die in zwei Jahren technologisch veraltet sein könnte.

Relevant wird eigene Hardware erst, wenn Daten aus Datenschutz- oder Geheimhaltungsgründen das Haus nicht verlassen dürfen oder eine Anwendung dauerhaft und in großem Umfang läuft, etwa bei permanenter Bildauswertung in der Produktion. In diesen Fällen kann On-Premise-KI langfristig günstiger sein, erfordert aber eigenes Fachwissen für Betrieb, Wartung und Stromversorgung.

Die Anschaffungskosten für leistungsstarke KI-GPUs wie die NVIDIA H100 liegen laut IONOS Digital Guide je nach Variante bei rund 35.000 bis 45.000 US-Dollar pro Karte. In der Cloud kostet ein 8x-H100-Knoten bei AWS laut Qovery 55,04 US-Dollar pro Stunde. Hinzu kommen Strom- und Kühlkosten, da eine H100 SXM bis zu 700 Watt zieht, die PCIe/NVL-Variante 350 bis 400 Watt.

Für die meisten Mittelständler ist der Kauf eigener Hardware daher kein realistisches Szenario: Cloud-Anbieter vermieten vergleichbare Rechenleistung laut Qovery für rund 6,88 US-Dollar pro GPU-Stunde bei AWS bis etwa 12,29 US-Dollar bei Azure; Scaleway listet die H100 PCIe zu 2,73 Euro pro Stunde – ohne Investitionsrisiko und mit sofortiger Verfügbarkeit.

Wer eine fertige KI-Anwendung statt roher Rechenleistung sucht, kommt häufig ganz ohne eigene Hardware-Entscheidung aus: Das erste KI-System zum Festpreis ab 3.500 € (AI READY) läuft über bestehende Cloud-Infrastruktur, ohne dass das Unternehmen Hardware anschaffen oder betreiben muss.

Ein Maschinenbauer mit 60 Mitarbeitenden möchte Qualitätsprüfungen an der Fertigungslinie per Bildauswertung automatisieren. Die Geschäftsführung prüft zunächst die Anschaffung einer eigenen GPU im Werk, stellt aber fest, dass die Produktionsdaten nicht in Echtzeit vor Ort ausgewertet werden müssen, sondern stündlich gebündelt genügen. Die Entscheidung fällt auf eine Cloud-Lösung mit nutzungsabhängiger Abrechnung statt auf eine Hardware-Anschaffung im fünfstelligen Bereich: Das Unternehmen zahlt nur für tatsächlich genutzte Rechenzeit und vermeidet das Risiko, dass eigene Hardware nach zwei Jahren technologisch veraltet ist.