KI-Modellgrößen (Parameter)

Parameter sind die internen Zahlenwerte eines neuronalen Netzes, die während des Trainings aus großen Datenmengen gelernt werden. Sie legen fest, wie stark einzelne Verbindungen zwischen den künstlichen Neuronen gewichtet werden, und speichern damit das erlernte Wissen des Modells. Die Anzahl der Parameter gilt als gängiges Maß für die Größe eines KI-Modells.

Wie groß diese Zahlen werden können, zeigt das Sprachmodell GPT-3 von OpenAI: Es wurde 2020 mit 175 Milliarden Parametern trainiert, zehnmal mehr als jedes zuvor bekannte, nicht spärlich besetzte Sprachmodell. Allein die Speicherung dieser Parameter benötigt bei 16-Bit-Genauigkeit rund 350 Gigabyte.

Metas offene Modellfamilie Llama 3.1 zeigt die Spannweite innerhalb einer Produktlinie: Sie erscheint in drei Größen – 8, 70 und 405 Milliarden Parameter. Für den Betrieb der kleinsten Variante reichen im Format FP16 etwa 16 Gigabyte Arbeitsspeicher, die größte Variante benötigt dagegen rund 810 Gigabyte.

Für Unternehmen ist die Parameterzahl vor allem ein Hinweis auf Ressourcenbedarf, nicht automatisch auf Qualität: Ein größeres Modell verlangt mehr Rechenleistung, Speicher und Energie, löst aber nicht jede Aufgabe besser als ein kleineres, gezielt trainiertes Modell. Die Wahl der passenden Modellgröße ähnelt damit der Entscheidung zwischen einem Universalwerkzeug und einem Spezialwerkzeug für eine wiederkehrende Aufgabe.

Die Modellgröße entscheidet mit, ob eine KI-Anwendung in der Cloud oder auf eigener Hardware im Unternehmen läuft. Kleinere Modelle mit wenigen Milliarden Parametern lassen sich oft lokal betreiben – das reduziert laufende Kosten und kann bei sensiblen Daten den Datenschutz erleichtern, weil keine Informationen an externe Anbieter übertragen werden.

Für viele betriebliche Aufgaben wie Dokumentenklassifikation, interne Suche oder einfache Chat-Antworten reicht ein kleineres, spezialisiertes Modell aus, das schneller antwortet und weniger Infrastruktur benötigt als ein sehr großes Allzweckmodell. Das senkt das Risiko, Rechenkapazität und Lizenzkosten für Funktionen zu bezahlen, die im Alltag gar nicht gebraucht werden.

Konkrete Marktpreise für den Betrieb unterschiedlich großer Modelle schwanken stark und hängen von Anbieter, Nutzungsmenge und Hosting-Form ab – pauschale Zahlen wären hier unseriös. Entscheidend sind vor allem drei Einflussfaktoren: die benötigte Rechenleistung (GPU-Speicher wächst mit der Parameterzahl deutlich, siehe die Beispiele oben), die Abrechnungsart bei Cloud-Anbietern (meist pro verarbeitetem Token, siehe Token (KI)) und der interne Aufwand für Auswahl, Anpassung und Betrieb des Modells.

Nach unserer Erfahrung lohnt sich vor der Entscheidung für ein bestimmtes Modell ein kurzer Realitätscheck: Welche Aufgabe soll gelöst werden, und reicht dafür ein kleineres, günstigeres Modell? Ein individuell zusammengestelltes KI-System mit passender Modellgröße bietet AI READY zum Festpreis ab 3.500 Euro an.

Ein Maschinenbauer mit 60 Mitarbeitenden möchte eingehende Serviceanfragen automatisch vorsortieren. Für diese klar umrissene Aufgabe wird ein kleineres Modell mit rund 8 Milliarden Parametern getestet, das auf einem firmeneigenen Server läuft und ohne Cloud-Anbindung auskommt. Erst als zusätzlich komplexe technische Rückfragen in freier Sprache beantwortet werden sollen, prüft das Unternehmen den Wechsel zu einem größeren Cloud-Modell mit entsprechend höherem Rechen- und Kostenbedarf.