KI mit SAP On-Premise und lokalem LLM Datenhoheit durch eine kontrollierbare Inference-Architektur

Generative KI kann SAP-Anwendungen unter anderem bei der Analyse von Dokumenten, der Zusammenfassung von Geschäftsinformationen, der semantischen Suche oder der dialogbasierten Unterstützung von Anwendern ergänzen.

Bei SAP-On-Premise-Systemen stellt sich dabei eine grundlegende Architekturfrage: Soll das Large Language Model über einen externen Cloud-Dienst genutzt oder innerhalb der eigenen Infrastruktur betrieben werden?

Cloudbasierte Modelle von OpenAI und Anthropic

OpenAI und Anthropic stellen leistungsfähige Sprachmodelle über verwaltete APIs bereit. Unternehmen benötigen keine eigene GPU-Infrastruktur und müssen sich weder um die Bereitstellung noch um die Skalierung der Modelle kümmern.

Die SAP-Anwendung oder eine Integrationsschicht übermittelt Anfragen über HTTPS an den Cloud-Endpunkt und erhält die generierte Antwort zurück. Dieser Ansatz ermöglicht einen schnellen Einstieg, führt jedoch zu externen Datenflüssen und einer Abhängigkeit von Netzwerkverbindung, Preismodell, Verfügbarkeit und technischen Vorgaben des jeweiligen Anbieters.

Insbesondere bei sensiblen SAP-Daten müssen Datenschutz, Datenklassifizierung, Protokollierung, Aufbewahrungsfristen und regulatorische Anforderungen berücksichtigt werden. Für bestimmte Anwendungsfälle kann daher eine lokale Inference-Architektur sinnvoller sein.

Lokale KI mit dem Milliarum AI Construction Kit

Beim lokalen Ansatz verbleiben SAP-System, Integrationslogik und Modell-Inference innerhalb der kontrollierten Infrastruktur des Unternehmens oder einer Private-Cloud-Umgebung.

Eine mögliche Architektur besteht aus folgenden Komponenten:

SAP On-Premise → Milliarum AI Construction Kit → vLLM-Konnektor → Gemma 31B → NVIDIA-GPU

Das Milliarum AI Construction Kit bildet die Integrationsschicht zwischen dem SAP-System, den fachlichen Anwendungsfällen und dem lokal betriebenen Sprachmodell.

Milliarum stellt hierfür einen Konnektor zur Verfügung, der vLLM über eine OpenAI-kompatible API anbindet. SAP-nahe Anwendungen müssen dadurch nicht direkt für eine proprietäre Inference-Schnittstelle entwickelt werden. Sie kommunizieren über ein etabliertes API-Format mit dem lokalen Modellservice.

Diese technische Abstraktion erleichtert den Austausch von Modellen, Quantisierungsformaten und Inference Engines, ohne dass die gesamte SAP-Integration neu implementiert werden muss.

Gemma 31B in 4-Bit-Quantisierung

Für den lokalen Betrieb stellt Gemma 31B einen interessanten Kompromiss zwischen Modellgröße, Leistungsfähigkeit und Hardwareanforderungen dar.

Ein Modell dieser Größenordnung besitzt ausreichend Kapazität für anspruchsvollere Aufgaben wie Textanalyse, strukturierte Antwortgenerierung, Zusammenfassungen, fachliche Assistenz oder die Verarbeitung umfangreicher Kontexte. Gleichzeitig ist der Speicherbedarf bei voller numerischer Genauigkeit für kleinere Systeme vergleichsweise hoch.

Durch eine 4-Bit-Quantisierung werden die Modellgewichte mit reduzierter Genauigkeit gespeichert. Dadurch sinkt der benötigte GPU-Speicher deutlich. Abhängig vom eingesetzten Quantisierungsverfahren kann dies mit einem begrenzten Qualitätsverlust verbunden sein, ermöglicht jedoch einen wesentlich kompakteren Betrieb.

Gemma 31B in 4-Bit-Quantisierung ist damit ein geeigneter Kompromiss aus:

• Modellqualität und Parameteranzahl,
• erforderlichem GPU-Speicher,
• erreichbarer Inference-Geschwindigkeit,
• Energie- und Infrastrukturbedarf,
• technischer Umsetzbarkeit auf kompakten Systemen.

Ein möglicher Zielaufbau ist ein kleiner NVIDIA-basierter Inference-Rechner mit einer RTX PRO 6000 Blackwell und 96 GB GPU-Speicher. Der verfügbare Speicher bietet neben den quantisierten Modellgewichten ausreichend Reserven für den KV-Cache, längere Kontexte, parallele Anfragen und weitere Runtime-Komponenten.

Die tatsächlich erreichbare Leistung hängt jedoch nicht nur von der Modellgröße ab. Relevante Parameter sind insbesondere Kontextlänge, Batch-Größe, Anzahl paralleler Benutzer, Quantisierungsformat und gewünschte Antwortlatenz. Die Eignung sollte deshalb mit realen SAP-Anwendungsfällen und repräsentativen Prompts getestet werden.

vLLM und mögliche Alternativen

vLLM stellt das Modell als performanten Inference-Service bereit. Zu den wesentlichen Vorteilen gehören die effiziente Verwaltung des KV-Caches, Continuous Batching, Streaming-Ausgaben sowie die Unterstützung OpenAI-kompatibler API-Endpunkte. Dadurch lässt sich die GPU auch bei mehreren parallelen Anfragen effizient nutzen.

vLLM ist jedoch keine zwingende Vorgabe. Mit SGLang stehen alternative Inference Engines zur Verfügung, die ebenfalls OpenAI-kompatible Schnittstellen, optimierte Cache-Mechanismen und eine effiziente Verarbeitung komplexer LLM-Workloads anbieten.

Die Auswahl sollte anhand des eingesetzten Modells, der Quantisierung, der Zielhardware sowie konkreter Messwerte für Durchsatz, Latenz und Stabilität erfolgen.

Integration in SAP-Prozesse

Der eigentliche Mehrwert entsteht nicht allein durch den Betrieb eines lokalen Sprachmodells, sondern durch die kontrollierte Verbindung mit den relevanten SAP-Prozessen und Daten.

Mögliche Anwendungsfälle sind:

• Zusammenfassungen von Projekt-, Auftrags- oder Berichtsinformationen,
• Erläuterung komplexer SAP-Daten,
• Analyse und Klassifizierung von Dokumenten,
• Erstellung kontextbezogener Textvorschläge,
• Nutzung interner Dokumente und Wissensbestände,
• KI-gestützte Assistenzfunktionen in SAP-nahen Oberflächen.

Über das AI Construction Kit kann gesteuert werden, welche Informationen an das Modell übergeben werden. Bestehende SAP-Berechtigungen, Geschäftsobjekte und Prozesslogiken können dabei in die Lösung einbezogen werden.

Auch bei einem vollständig lokalen Betrieb ist ein übergreifendes Sicherheitskonzept erforderlich. Dazu gehören Authentifizierung und Autorisierung, Netzwerksegmentierung, verschlüsselte Kommunikation, kontrollierte Protokollierung, Modellversionierung sowie der Schutz vor Prompt Injection und unzulässigem Datenzugriff.

Fazit

Cloud-APIs von OpenAI und Anthropic ermöglichen einen schnellen Einstieg und reduzieren den eigenen Infrastrukturaufwand. Eine lokale Architektur bietet dagegen mehr Kontrolle über Datenflüsse, Modelle, Betriebsparameter und Abhängigkeiten.

Die Kombination aus SAP On-Premise, dem Milliarum AI Construction Kit, einem OpenAI-kompatiblen vLLM-Konnektor, Gemma 31B in 4-Bit-Quantisierung und einer kompakten NVIDIA-Inference-Plattform stellt eine technisch umsetzbare Grundlage für lokale KI-Anwendungen dar.

Ein begrenzter Proof of Concept mit realen SAP-Prozessen sollte dabei klären, welche Modellqualität, Antwortlatenz und Parallelität unter den vorgesehenen Betriebsbedingungen erreicht werden können.