Verwaltung von Agenten mit großem Funktionsumfang Tool Search und modellunabhängiges Funktionsmanagement

Je leistungsfähiger ein KI-Agent wird, desto größer wird in der Regel auch sein Funktionsumfang. Während ein spezialisierter Assistent vielleicht nur fünf oder zehn Werkzeuge benötigt, greifen Enterprise-Agenten schnell auf Hunderte Funktionen aus ERP-, CRM-, Dokumenten- und Analysesystemen zu.
Für jede dieser Funktionen benötigt das Large Language Model eine Beschreibung: Was macht die Funktion? Welche Parameter erwartet sie? Welche Daten liefert sie zurück?
Werden alle Definitionen bei jeder Anfrage vollständig in den Modellkontext geladen, steigen Tokenverbrauch, Kosten und Latenz. Gleichzeitig wird es für das Modell schwieriger, aus einer sehr großen Menge das passende Werkzeug auszuwählen.

Die zentrale Herausforderung lautet deshalb nicht mehr:

Wie viele Funktionen kann ein Agent verwenden?

Sondern:

Wie erhält er zur richtigen Zeit genau die Funktionen, die er für seine aktuelle Aufgabe benötigt?

Tool Search: Funktionen bedarfsorientiert bereitstellen

Tool Search überträgt das aus RAG-Systemen bekannte Retrieval-Prinzip auf ausführbare Funktionen.
Statt dem Sprachmodell bei jeder Anfrage den vollständigen Funktionskatalog zu übergeben, werden zunächst nur wenige Kernfunktionen oder übergeordnete Funktionsbereiche bereitgestellt. Erkennt der Agent, dass er eine weitere Fähigkeit benötigt, sucht er nach passenden Werkzeugen. Nur die relevanten Funktionsdefinitionen werden anschließend in den Kontext geladen.
Dadurch bleibt der Kontext übersichtlicher, der Tokenverbrauch sinkt und das Modell muss nicht aus Hunderten möglicherweise irrelevanten Funktionen auswählen.

OpenAI und Anthropic: Werkzeuge erst bei Bedarf laden

OpenAI bietet mit tool_search einen Mechanismus, über den Funktionen, Namespaces oder MCP-Server zunächst zurückgestellt und erst bei Bedarf geladen werden können. Verwandte Funktionen lassen sich beispielsweise in Bereiche wie Auftragsmanagement, Kundenservice oder Materialwirtschaft gruppieren. Das Modell sucht dann gezielt innerhalb des passenden Funktionsbereichs.
Anthropic verfolgt einen vergleichbaren Ansatz. Auch Claude kann umfangreiche Werkzeugkataloge durchsuchen und nur die für eine konkrete Aufgabe relevanten Funktionen in den Kontext übernehmen. Die Suche kann dabei durch Anthropic oder durch eine eigene Suchlogik der Kundenanwendung gesteuert werden.
Beide Ansätze lösen vor allem das Discovery-Problem: Der Agent muss nicht jederzeit alle Werkzeuge kennen, sondern lediglich in der Lage sein, die benötigten Werkzeuge zu finden.
Für Unternehmen bleibt jedoch eine weitere Frage offen: Wie lässt sich dieses Prinzip unabhängig vom jeweils eingesetzten Sprachmodell in die bestehende Anwendungslandschaft integrieren?

Milliarum: Modellagnostische Funktionsverwaltung für SAP

Das Milliarum AI Construction Kit setzt auf der Integrations- und Anwendungsebene an. Das ABAP-basierte Framework ermöglicht den Aufbau KI-gestützter Anwendungen direkt im SAP-Umfeld.
Über das Customizing können unter anderem Modellanbindungen, System-Prompts, Personas (Agenten) und die für eine Anwendung zulässigen KI-Funktionen verwaltet werden. SAP-Funktionsbausteine, ABAP-Klassen, Methoden und weitere Datenquellen lassen sich als Funktionen für das Function Calling bereitstellen.
Die Anbindung ist dabei nicht auf einen einzelnen Modellanbieter beschränkt. Das AI Construction Kit kann unter anderem mit den APIs von OpenAI und Anthropic verbunden werden. Damit bleibt die SAP-seitige Funktions- und Integrationslogik bestehen, auch wenn für unterschiedliche Anwendungen verschiedene Sprachmodelle eingesetzt werden.

Maximale Anzahl der Funktionen im KI-Kontext

Für Agenten mit großem Funktionsumfang stellt Milliarum eine zentrale Customizing-Einstellung bereit:
„Maximale KI-Funktionen, die im KI-Kontext beibehalten werden“
Über diese Einstellung wird festgelegt, wie viele Funktionsdefinitionen gleichzeitig im Kontext des Sprachmodells vorgehalten werden. Der konfigurierbare Wertebereich liegt zwischen 1 und 99 Funktionen.
Damit steht eine LLM-modellagnostische Möglichkeit zur Verfügung, die benötigten Funktionen bedarfsorientiert in den Kontext zu laden und die Menge der gleichzeitig verfügbaren Werkzeuge zu begrenzen.
Die Steuerung ist somit nicht ausschließlich von einer proprietären Tool-Search-Funktion eines bestimmten Modellanbieters abhängig. Sie erfolgt innerhalb der Integrationsschicht des AI Construction Kits und kann unabhängig davon genutzt werden, ob die Anwendung mit OpenAI, Anthropic oder einem anderen unterstützten Modell arbeitet.
Für einen spezialisierten Agenten kann beispielsweise eine niedrige Obergrenze sinnvoll sein. Ein Assistent zur Prüfung von Kundenaufträgen benötigt möglicherweise nur Funktionen zum Lesen des Auftrags, zur Ermittlung des Lieferstatus, zur Prüfung der Materialverfügbarkeit und zur Anzeige des Geschäftspartners.
Ein bereichsübergreifender Agent, der zusätzlich Bestellungen, Projekte, Controlling-Daten und Servicevorgänge verarbeitet, kann dagegen eine größere Zahl gleichzeitig verfügbarer Funktionen benötigen.
Die passende Einstellung hängt unter anderem vom Anwendungsfall, vom verwendeten Modell, vom verfügbaren Kontextfenster und von der Komplexität der Funktionsbeschreibungen ab.

Zusammenspiel von Sprachmodell und SAP-Funktionsschicht

In einer möglichen Zielarchitektur übernehmen OpenAI oder Anthropic das Sprachverständnis und die Aufgabenplanung. Das Milliarum AI Construction Kit verwaltet die SAP-spezifischen Funktionen und steuert, welche davon im KI-Kontext verfügbar sind.
Ein typischer Ablauf kann folgendermaßen aussehen:
Ein Benutzer formuliert beispielsweise die Aufgabe:
„Prüfe die offenen Kundenaufträge, identifiziere mögliche Lieferverzögerungen und erstelle einen Maßnahmenvorschlag.“
Das Sprachmodell erkennt, dass dafür Informationen aus den Bereichen Kundenauftrag, Lieferung und Materialverfügbarkeit benötigt werden.
Das AI Construction Kit stellt die relevanten SAP-Funktionen bereit. Die konfigurierte Obergrenze bestimmt, wie viele Funktionsdefinitionen gleichzeitig im KI-Kontext beibehalten werden.
Anschließend erzeugt das Modell die erforderlichen Function Calls. Das AI Construction Kit ordnet diese Aufrufe den freigegebenen SAP-Funktionen, ABAP-Methoden oder Datenquellen zu und gibt die Ergebnisse an das Sprachmodell zurück.
Der Agent kann die Resultate auswerten, bei Bedarf weitere Funktionen anfordern und schließlich einen fachlichen Maßnahmenvorschlag formulieren.

Tool Search allein reicht nicht aus

Das dynamische Laden von Funktionen reduziert die Kontextgröße und verbessert die Werkzeugauswahl. Für den produktiven Einsatz in Unternehmen müssen jedoch weitere Fragen geregelt werden:
Welche Funktionen darf ein Agent verwenden? Welche Benutzerberechtigungen gelten? Darf eine Funktion Daten nur lesen oder auch verändern? Benötigt eine schreibende Aktion eine Freigabe? Wie werden Aufrufe, Parameter und Ergebnisse protokolliert?
Gerade im SAP-Umfeld unterscheiden sich die Risiken deutlich. Das Lesen eines Liefertermins ist anders zu bewerten als die Änderung eines Kundenauftrags oder die Buchung eines Belegs.
Eine zentrale Funktionsschicht sollte deshalb nicht nur die technische Auffindbarkeit von Werkzeugen steuern, sondern auch deren Freigabe, Ausführung und Nachvollziehbarkeit.

Fazit

OpenAI und Anthropic begegnen großen Werkzeugkatalogen mit Tool Search und dem bedarfsorientierten Laden von Funktionsdefinitionen. Der Agent muss dadurch nicht bei jeder Anfrage sämtliche verfügbaren Werkzeuge im Kontext halten.
Das Milliarum AI Construction Kit ergänzt dieses Prinzip um eine modellunabhängige Steuerung im SAP-Umfeld. Mit der Customizing-Einstellung „Maximale KI-Funktionen, die im KI-Kontext beibehalten werden“ kann die Anzahl gleichzeitig verfügbarer Funktionen flexibel zwischen 1 und 99 festgelegt werden.
Damit bleibt das Funktionsmanagement unabhängig vom eingesetzten LLM zentral konfigurierbar. OpenAI, Anthropic oder andere Modelle können für Sprachverständnis und Planung eingesetzt werden, während die SAP-Integration und die Steuerung des Funktionsumfangs innerhalb der Unternehmensanwendung verbleiben.
Die entscheidende Frage lautet deshalb künftig nicht:
„Wie viele Funktionen besitzt unser Agent?“
Sondern:
„Wie stellen wir sicher, dass er zur richtigen Zeit nur die richtigen Funktionen im Kontext hat?“