30+ Modelle. Eine API. Keine Compliance-Kopfschmerzen.

Der LLM-Serving-Service gibt Ihren Teams OpenAI-kompatiblen Zugang zu den führenden KI-Modellen: Open-Source-Modelle, von der Telekom in Deutschland gehostet, sowie Frontier-Modelle von OpenAI, Anthropic, Google und Mistral zu deren jeweils eigenen, ausgewiesenen Bedingungen. Ein Vertrag, ein Endpunkt, eine klare Antwort für Ihre Prüfer.

Testschlüssel anfragen oder Preview-Modelle im Tarif kostenlos testen.

Dieselben Probleme tauchen in jedem Kundengespräch auf.

Selten sind es die Modelle, die Sie ausbremsen. Es ist alles drumherum.

Zehn Piloten. Zehn Stacks. Zehn verschiedene Probleme.

Jedes Team baut KI für sich: eigene Anbieter, eigene Systeme, Zeit verloren in mehrfachen Compliance-Prüfungen. Viel Aufwand, doch Ihre Organisation ist vom Skalieren noch meilenweit entfernt. Nichts ist wiederverwendbar, und jeder neue Anwendungsfall zahlt die vollen Einrichtungskosten erneut.

Die KI-Einführung steckt im Legal- und Compliance-Review fest.

Jeder KI-Anbieter löst dieselben Fragen aus: Sind unsere Daten sicher? Was passiert mit unseren Eingaben? Was, wenn es einen Sicherheitsvorfall gibt? Monate vergehen, Wettbewerber liefern.

Das beste Modell wechselt jedes Quartal. Ihre Lieferantenliste nicht.

Ihre Teams wollen heute GPT, morgen Claude, ein Open-Source-Modell für den sensiblen Workload. Jeden Anbieter einzeln zu onboarden heißt: jedes Mal eine neue Beschaffungsrunde.

Wir haben LLM Serving gebaut, um sie zu lösen.

Zeit für den nächsten Gang: vom Piloten in den Produktivbetrieb.

Ändern Sie die Basis-URL. Alles andere bleibt.

LLM Serving spricht den OpenAI-API-Standard. Wenn Ihr Code mit OpenAI funktioniert, funktioniert er mit uns: dieselben SDKs, dasselbe Request-Format, eine Konfigurationsänderung. Hinter diesem einen Endpunkt liegt der vollständige Katalog. Wechseln Sie Modelle, indem Sie eine Zeichenkette ändern — auch zwischen einem US-Frontier-Modell und einem in Deutschland gehosteten Open-Source-Modell, pro Anfrage, pro Anwendungsfall.

from openai import OpenAI

client = OpenAI(
    api_key=os.environ["AIFS_API_KEY"],
    base_url="https://llm-server.llmhub.t-systems.net/v2",
)

response = client.chat.completions.create(
    model="gpt-oss-120b",
    messages=[{"role": "user", "content": "Hello from sovereign Europe."}],
)

Code kopieren

Wählen Sie das richtige Modell für jede Aufgabe.

Wählen Sie, wie Ihre Daten verarbeitet werden: Beschränken Sie Ihre Auswahl auf die von der Telekom in Deutschland betriebenen Modelle oder nutzen Sie den vollständigen Katalog.

Von der Telekom in Deutschland gehostet (T-Cloud)

Open-Source-Modelle wie GLM 5.3 Flash und Qwen 3.8 27B — beide jetzt in Produktion — sowie GLM 5.2, GPT-OSS 120B, Gemma 4, NVIDIA Nemotron 3 und Mistral Small, dazu deutschsprachige Embeddings und Whisper-Speech-to-Text. Ihre Prompts werden nicht dauerhaft gespeichert, sind für die Telekom oder Dritte nicht einsehbar und werden nie für Training verwendet. Ein Prefix-Cache hält aktuelle Anfragen kurzzeitig vor, um Antworten zu beschleunigen — Sie können ihn abschalten.

Frontier-Modelle von Drittanbietern

GPT-5-Familie auf Azure, Claude auf Google Cloud oder Azure, Mistral Medium in der EU, Gemini 3 auf Google-Cloud-Infrastruktur weltweit. Betrieben vom jeweiligen Anbieter zu dessen eigenen Bedingungen, vertraglich über die Telekom.

Ein Katalog. 30+ Modelle.

Chat, Reasoning, Coding, Vision, Speech-to-Text, Bildgenerierung und, in der Preview, typisierte Agenten-Entscheidungen. Laufend kommen neue Modelle hinzu.

Für regulierte Arbeit gebaut

Teams aus öffentlicher Hand und Unternehmen bauen heute auf AIFS und T-Cloud.

EU AI Act.
Erbracht im Einklang mit den Pflichten der Telekom nach dem EU AI Act.
Souveräne und sichere Infrastruktur.
AIFS läuft auf T-Cloud public: nach BSI C5 Typ 2 testierte und nach ISO 27001 zertifizierte Telekom-Infrastruktur.
DSGVO-konform.
Mit verfügbaren Auftragsverarbeitungsverträgen und einem deutschen Vertragspartner.
Transparent by Design.
Serverstandorte, Nutzungsbedingungen und Lizenzbestimmungen sind pro Modell ausgewiesen.

Experimentieren, iterieren, skalieren.

Eine Plattform — vom ersten API-Aufruf bis zum organisationsweiten Rollout.

LLM Serving

Produktionsreifer Service. 99,5 % Verfügbarkeit innerhalb der betreuten Betriebszeit, abgesichert durch Service Credits.
Self-Service-Portal. API-Keys erzeugen und verwalten, Token-Nutzung pro Key und Modell verfolgen, Nutzer hinzufügen — ohne Ticket.
Skalierbar nach Bedarf. Bereit für strenge technische Anforderungen, bei Bedarf mit mandantengetrennten, dedizierten Instanzen.

LLM Serving

Mehr nötig?

Unser Team bietet Professional Services rund um das Produkt: dedizierte Modellinstanzen für exklusive Kapazität und zusätzliche Modelle auf Anfrage. Fine-Tuning und der Betrieb in Ihrer eigenen Umgebung sind ebenfalls als Professional Services verfügbar, wo ein Anwendungsfall dies rechtfertigt.

Anwendungsfälle

Häufige Ausgangspunkte. Ihrer kann anders aussehen.

Souveräne Coding-Assistenten

Richten Sie OpenCode, Cline oder Ihr internes Tooling auf in Deutschland gehostete Coding-Modelle. KI-Pair-Programming, ohne Ihren Quellcode aus der EU zu schicken.

Kundenservice im großen Maßstab

Betreiben Sie Ihre Voicebots und Chatbots über einen geregelten Endpunkt mit Compliance-Wahl pro Modell und Nutzungserfassung pro API-Key.

Pipelines zur Dokumentenverarbeitung

Extraktion, Klassifizierung und Zusammenfassung über sensible Dokumente, mit vision-fähigen Modellen und der Option, die Verarbeitung auf Telekom-Infrastruktur in Deutschland zu halten.

Sprache und Transkription

Whisper, in Deutschland gehostet: Anrufe, Meetings und Aufnahmen mit personenbezogenen Daten transkribieren — ohne Diskussion über US-Datentransfers.

Etwas anderes im Sinn?

Sprechen Sie mit uns über Ihre Herausforderungen, Anwendungsszenarien und Ideen.