Programmatic Tool Calling Tokenintensive Bearbeitungen aus dem LLM-Kontext auslagern

Viele KI-Anwendungen stoßen nicht an die Leistungsgrenze des Modells, sondern an die Grenze des verfügbaren Kontextfensters.

Beim klassischen Tool Calling läuft ein Prozess schrittweise ab: Das Sprachmodell ruft eine Funktion auf, erhält deren Ergebnis, bewertet es und entscheidet anschließend über den nächsten Aufruf. Bei wenigen Abfragen funktioniert dieses Verfahren sehr gut. Werden jedoch große Datenbestände, umfangreiche Belegmengen oder mehrere SAP-Datenquellen verarbeitet, wächst der Kontext mit jedem Zwischenergebnis. Die Folgen sind ein höherer Tokenverbrauch, längere Laufzeiten und im schlimmsten Fall ein Kontextüberlauf.

Programmatic Tool Calling verändert diese Aufgabenteilung.

Das Modell erzeugt ein Programm, das die freigegebenen Tools über Schleifen, Bedingungen oder parallele Aufrufe koordiniert. Die Code-Laufzeit kann Rückgaben filtern, zusammenführen, validieren und aggregieren. Erst das verdichtete Ergebnis gelangt zurück in den Modellkontext.

Das Sprachmodell bleibt damit für Planung, Interpretation und verständliche Darstellung zuständig. Die wiederholbare und datenintensive Verarbeitung wird dagegen in Code ausgelagert.

OpenAI: JavaScript-Orchestrierung in der Responses API

OpenAI setzt Programmatic Tool Calling über eine isolierte V8-Laufzeit um. Das Modell erzeugt JavaScript, koordiniert darin die zugelassenen Tools und verarbeitet Zwischenergebnisse innerhalb des Programms. Der Ansatz eignet sich insbesondere für klar begrenzte Abläufe, bei denen Ergebnisse gefiltert, zusammengeführt, aggregiert oder validiert werden können. Benötigt dagegen jeder einzelne Schritt eine neue semantische Bewertung durch das Modell, bleibt direktes Tool Calling die bessere Wahl. (OpenAI Developers)

Anthropic: Python im Code-Execution-Container

Anthropic verfolgt dasselbe Grundprinzip mit Python in einem abgeschotteten Code-Execution-Container. Claude kann Tools seriell oder parallel sowie mithilfe von Schleifen und Bedingungen aufrufen. Die Zwischenergebnisse werden im Code verarbeitet und nicht vollständig in das Kontextfenster übernommen. Erst die finale Programmausgabe wird wieder an das Modell übergeben. Dadurch sinken insbesondere bei datenreichen Multi-Tool-Prozessen die Anzahl der Modellaufrufe und der Tokenbedarf. (Claude Platform)

Milliarum: Die Brücke in die SAP-Praxis

Für SAP-Unternehmen reicht eine technische Funktion des Modellanbieters allein nicht aus. Entscheidend ist, wie sie in vorhandene Datenzugriffe, Berechtigungen und Fachfunktionen integriert wird. Das Milliarum AI Construction Kit stellt dafür ein ABAP-basiertes Framework mit UI5-Chat, konfigurierbaren LLM-Konnektoren, Function Calling und erweiterbaren SAP-Funktionen bereit. Unterschiedliche Modelle und APIs – darunter OpenAI und Anthropic – können über die Konnektorarchitektur angebunden werden. Über das Customizing wird festgelegt, welche Modelle, Funktionen und Datenquellen einer Anwendung zur Verfügung stehen. (Milliarum)

Durch eine Erweiterung der Konnektor-Konfiguration stellt Milliarum zudem die benötigten Parameter für Programmatic Tool Calling zur Verfügung. Damit können die entsprechenden Mechanismen der OpenAI- und Anthropic-APIs innerhalb der bestehenden Architektur des AI Construction Kits genutzt werden.

SAP-Funktionen und definierte Datenzugriffe bleiben dabei die kontrollierten Tools. Die Orchestrierung sowie die Verdichtung umfangreicher Rückgaben erfolgen programmatisch.

Beispiel: Konsistenzcheck über den Kundenstamm

Statt den vollständigen Kundenstamm in den Prompt zu laden, kann ein erzeugtes Programm:

Kundendaten schrittweise über freigegebene SAP-Funktionen abrufen, definierte Konsistenzregeln anwenden, Dubletten, fehlende Pflichtangaben oder widersprüchliche Merkmale erkennen, Auffälligkeiten aggregieren und nur eine kompakte Ergebnisliste an das Sprachmodell zurückgeben.

Damit lassen sich auch umfangreiche Konsistenzchecks durchführen, ohne dass das Kontextfenster mit den vollständigen Rohdaten überläuft.

Das Modell erhält beispielsweise nur noch den betroffenen Kunden, die verletzte Prüfregel und die relevanten Belege. Auf dieser Basis kann es die Ergebnisse erläutern, priorisieren oder konkrete Handlungsempfehlungen formulieren. Datenzugriff, Funktionsumfang und Modellwahl bleiben gleichzeitig über die Milliarum-Konfiguration steuerbar.

Eine klare Trennung der Aufgaben

Programmatic Tool Calling trennt zwei unterschiedliche Arten von Arbeit:

Code übernimmt Datenselektion, Filterung und Berechnung.

Das Sprachmodell übernimmt Planung, Einordnung und Kommunikation.

Genau diese Trennung macht den Ansatz für Unternehmensanwendungen interessant. Es geht nicht darum, immer mehr Daten in einen immer größeren Prompt zu übertragen. Große Datenmengen sollten dort verarbeitet werden, wo dies effizient und kontrolliert möglich ist. Das Modell erhält nur die Informationen, für die tatsächlich sprachliche oder semantische Intelligenz benötigt wird.

Mit dem AI Construction Kit überführt Milliarum die neuen Möglichkeiten von OpenAI und Anthropic in eine konfigurierbare SAP-Architektur:

Das Modell plant. Der Code orchestriert. SAP bleibt die führende Daten- und Prozessquelle.