Grundbegriffe

LLM (Large Language Model)

Ein Large Language Model (LLM) ist ein KI-Modell, das aus riesigen Textmengen lernt, das wahrscheinlichste nächste Wort vorherzusagen, und daraus Texte, Antworten oder Code erzeugt. Es ist die technische Basis hinter Werkzeugen wie ChatGPT oder Copilot.

Das Wichtigste in Kürze

EU AI Act stuft LLMs offiziell als „General-Purpose-KI-Modelle" ein (Art. 3 Abs. 63).
Technische Grundlage fast aller LLMs: die 2017 vorgestellte Transformer-Architektur.
Bekannte Beispiele: GPT-4, Claude, Gemini, Llama – unterschiedliche Größen und Kontextfenster.
Faustregel: Trainingswissen hat einen Stichtag, aktuelle Betriebsdaten brauchen zusätzlich RAG.

Was ist das?

Ein LLM ist ein neuronales Netz, das anhand gigantischer Textmengen – Bücher, Webseiten, Code – gelernt hat, mit hoher Wahrscheinlichkeit das nächste Wort in einem Satz vorherzusagen. Aus dieser einfachen Grundidee entstehen komplexe Fähigkeiten: Texte zusammenfassen, übersetzen, Code schreiben, Fragen beantworten. Technische Grundlage fast aller heutigen LLMs ist die Transformer-Architektur, die 2017 vorgestellt wurde und Sprache parallel statt Wort für Wort verarbeitet.

Stellt euch ein LLM wie eine neue Aushilfskraft vor, die tausende Fachbücher gelesen hat, aber am ersten Arbeitstag steht: viel Allgemeinwissen, aber nichts über eure Kunden, Preislisten oder internen Abläufe. Das erklärt, warum LLMs oft überzeugend klingen, gelegentlich aber auch falsche Details erfinden (siehe KI-Halluzination) – und warum sie erst mit betrieblichen Daten wirklich nützlich werden.

Rechtlich zählt ein LLM im EU AI Act zu den „General-Purpose-KI-Modellen": Modelle mit ausreichender Allgemeingültigkeit, um viele unterschiedliche Aufgaben zu übernehmen und in verschiedenste Anwendungen eingebaut zu werden. Diese Pflichten – etwa zur technischen Dokumentation und Transparenz gegenüber nachgelagerten Anbietern – treffen in erster Linie die Modell-Anbieter selbst, also Unternehmen wie OpenAI oder Anthropic. Für Betriebe, die ein LLM lediglich nutzen, ohne es zu verändern oder weiterzugeben, gelten andere Regeln (mehr dazu im Beitrag zum EU AI Act).

Was bringt das eurem Betrieb?

Ein LLM übernimmt Routinetexte, die sonst Zeit kosten: Angebote formulieren, E-Mails vorformulieren, Protokolle zusammenfassen oder technische Dokumentation übersetzen. Nach unserer Erfahrung sparen Teams bei textlastigen Aufgaben oft mehrere Stunden pro Woche, weil der erste Entwurf schneller steht und nur noch geprüft werden muss.

Das Risiko liegt weniger im Modell selbst als im Umgang damit: Ohne klare Regeln landen sensible Kundendaten schnell in einem öffentlichen Chat-Fenster – ein Fall für Schatten-KI. Wer LLMs kontrolliert einsetzt, senkt dieses Risiko und behält die Kontrolle darüber, welche Informationen das Modell überhaupt zu sehen bekommt.

Was kostet das?

Ein eigenes LLM von Grund auf zu trainieren ist für die allermeisten Betriebe weder nötig noch realistisch – das bleibt großen Anbietern wie OpenAI, Google oder Anthropic vorbehalten. Für den Mittelstand ist die Nutzung bestehender Modelle der übliche Weg: entweder über fertige Oberflächen wie ChatGPT oder Copilot mit einem monatlichen Abonnement, oder per API, bei der nach Textmenge abgerechnet wird. Wie hoch die Kosten am Ende ausfallen, hängt stark von Nutzerzahl, Anbieter und Nutzungsintensität ab – belastbare Pauschalpreise nennen wir hier bewusst nicht, weil sich Tarife häufig ändern.

Teurer wird es, wenn das LLM an betriebliche Daten angebunden werden soll, etwa über RAG oder eine eigene Schnittstelle – hier entscheiden Datenmenge, vorhandene Systemlandschaft und Sicherheitsanforderungen über den Aufwand. Euer erstes KI-System zum Festpreis ab 3.500 € (AI READY) ist dafür ein realistischer Einstiegspunkt.

Beispiel aus dem Mittelstand

Ein Maschinenbauer mit 60 Mitarbeitenden nutzt ein LLM, um technische Datenblätter vom Deutschen ins Englische zu übersetzen und Angebotstexte vorzuformulieren. Nach unserer Erfahrung sparen ähnliche Betriebe dadurch spürbar Zeit pro Angebot, weil der Vertrieb nur noch Zahlen und Sonderkonditionen prüfen muss, statt den Text komplett neu zu schreiben. Weil in den Datenblättern auch Kundennamen stehen, läuft die Übersetzung über eine unternehmensinterne Lösung statt über die kostenlose Chat-Version im Browser – so bleiben Kundendaten innerhalb des Betriebs.

Häufige Fragen

Was ist der Unterschied zwischen einem LLM und ChatGPT?

ChatGPT ist eine Anwendung, die auf einem LLM aufbaut – das LLM ist die Sprach-Engine im Hintergrund. ChatGPT liefert zusätzlich Chat-Oberfläche, Gesprächsverlauf und Zusatzfunktionen drumherum.

Kennt ein LLM auch Daten aus unserem Betrieb?

Nein, ein Standard-LLM kennt nur die Daten aus seinem Training bis zu einem Stichtag – interne Preislisten, Kundendaten oder Verträge kennt es nicht automatisch. Damit ein LLM mit betrieblichen Informationen arbeitet, braucht es eine zusätzliche Anbindung, etwa über RAG.

Ist die Nutzung eines LLM wie ChatGPT DSGVO-konform?

Das hängt vom Anbieter, dem Vertrag und den eingegebenen Daten ab – pauschal lässt sich das nicht beantworten. Für personenbezogene oder sensible Daten empfiehlt sich vorab eine Prüfung der Auftragsverarbeitung oder eine Anonymisierung der Eingaben, etwa mit unserem Partner anymize (https://anymize.ai/partner/ai-ready).

Muss unser Betrieb den EU AI Act beachten, wenn wir nur ChatGPT nutzen?

Die spezifischen Pflichten für General-Purpose-KI-Modelle richten sich in erster Linie an die Modell-Anbieter selbst. Wer ein LLM nur als Werkzeug einsetzt, ohne es zu verändern oder weiterzuverbreiten, ist von diesen Pflichten meist nicht direkt betroffen – andere Vorgaben, etwa zur KI-Kompetenz im Betrieb, können trotzdem greifen.