Google startet Tool Retrieval-Funktion in Gemini API zur Optimierung der Werkzeugverwaltung für Agenten

Image: Google · Source
Google führt Tool Retrieval in der Vorschau der Gemini API ein, womit Agenten Parameter-Schemata von Tools bei Bedarf laden können, um Eingabe-Tokens und Latenz bei der Verwaltung großer Tool-Bibliotheken zu reduzieren.
Google hat die Vorschauveröffentlichung von Tool Retrieval in seiner Gemini API angekündigt, mit dem Ziel, Entwicklern zu helfen, große Bibliotheken von Software-Tools, die von KI-Agenten genutzt werden, effizient zu verwalten. Traditionell sendeten KI-Agenten, die mit Dutzenden oder Hunderten von Werkzeugen verbunden sind, bei jeder Eingabeaufforderung das vollständige Parameterschema jedes Tools mit. Dieser Ansatz führt zu einem erhöhten Verbrauch von Eingabe-Tokens, erhöht der Latenz und kann die Genauigkeit bei der Werkzeugauswahl verringern, wenn die Anzahl der Kandidaten steigt.
Die neue Tool Retrieval-Funktion behebt diese Probleme, indem sie es einem Agenten erlaubt, eine umfassende Werkzeugbibliothek im Standby-Modus zu halten und die detaillierten Parameterschemata eines bestimmten Werkzeugs nur dann zu laden, wenn es für eine konkrete Aufgabe benötigt wird. Dieses Verfahren reduziert die Datenübertragung, beschleunigt die Antwortzeiten und verbessert die Präzision bei der Werkzeugauswahl.
Entwickler können diese Funktion aktivieren, indem sie ein "tool_search"-Tool zu den Anfragen hinzufügen und das Flag "defer_loading" für die Tools setzen, die sie von der initialen Ladung zurückhalten möchten. Zwar erhält das Modell weiterhin die Namen und Beschreibungen aller zurückgehaltenen Tools, um deren Verfügbarkeit zu kennen, jedoch bleiben die ausfühlichen Parameterschemata ungeladen, bis der Agent explizit ein Tool per Name aufruft. Dieser Prozess erfolgt innerhalb derselben API-Anfrage, wobei das System das notwendige Schema dynamisch lädt und den Funktionsaufruf des Tools ausführt.
Die Gemini API unterstützt diese Funktion ab Version 3.6 einschließlich aller Gemini 4 Modelle in ihrer Interactions API. Tool Retrieval ist kompatibel mit Prefix-Caching und sorgt für stabile Eingabeprefixes trotz dynamischen Ladens der Schemata. Es integriert sich zudem mit entfernten MCP-Servern, indem es das Laden von Schemata für komplette Tool-Sets remote verzögert.
Für Nutzer mit eigenen Werkzeugregistern oder Berechtigungsfiltern steht ein clientseitiger Abrufmodus zur Verfügung, der eine dynamische Werkzeugsuche während der Konversation ermöglicht und die Hinzufügung neuer Tools mitten in der Sitzung unterstützt. Google weist darauf hin, dass Tool Retrieval über die üblichen Gebühren für Eingabe- und Ausgabe-Tokens hinaus keine zusätzlichen Kosten verursacht, und vor allem dann Token spart, wenn viele Toolschemata zurückgehalten werden, anstatt sie von Anfang an zu laden.
Google ermutigt Entwickler, die bereitgestellte Dokumentation und Beispiele zu erkunden, um Tool Retrieval zu implementieren, mit dem Ziel, die Entwicklung leistungsfähigerer und reaktionsschnellerer Anwendungen zu fördern, die mit umfangreichen Tool-Ökosystemen interagieren. Dieses Update stellt eine bedeutende Verbesserung bei der effizienten Bewältigung komplexer Agentenaufgaben dar und markiert einen wichtigen Fortschritt in der Weiterentwicklung von KI-Werkzeugen innerhalb der Gemini-Plattform.

Quellen und Originalberichte
Read the original source ↗

Kommentare (0)
Noch keine Kommentare.
Kommentar schreiben
Kommentare erscheinen nach Moderation. Name und Kommentar werden öffentlich angezeigt. Konto