Компьютеры

Google запускает функцию Tool Retrieval в Gemini API для оптимизации управления инструментами агентов

Tendela Briefing ·
6 просмотров · 0 Комментарии
Google запускает функцию Tool Retrieval в Gemini API для оптимизации управления инструментами агентов

Image: Google · Source

Google представляет Tool Retrieval в предварительном просмотре Gemini API, позволяющую агентам загружать схемы параметров инструментов по запросу, что снижает количество входных токенов и задержки при управлении большими библиотеками инструментов.

Google объявила о предварительном выпуске функции Tool Retrieval в своем Gemini API, направленной на помощь разработчикам в эффективном управлении большими библиотеками программных инструментов, используемых агентами ИИ. Традиционно агенты ИИ, подключенные к десяткам или сотням инструментов, отправляли полные схемы параметров каждого инструмента с каждым запросом. Такой подход увеличивает использование входных токенов, добавляет задержки и может снижать точность выбора инструмента с увеличением числа кандидатов.

Новая функция Tool Retrieval решает эти проблемы, позволяя агенту поддерживать обширную библиотеку инструментов в режиме ожидания, загружая подробные схемы параметров конкретного инструмента только когда он необходим для выполнения конкретной задачи. Этот метод сокращает передачу данных, ускоряет время отклика и повышает точность выбора инструментов.

Разработчики могут включить эту функциональность, добавив инструмент "tool_search" к запросам и установив флаг "defer_loading" в значение true для инструментов, которые хотят отложить от первоначальной загрузки. Модель при этом получает названия и описания всех отложенных инструментов, чтобы знать об их доступности, но подробные схемы параметров остаются не загруженными до тех пор, пока агент явно не вызовет инструмент по имени. Этот процесс происходит в рамках того же API-запроса, где система динамически загружает необходимую схему и выполняет вызов функции инструмента.

Gemini API, начиная с версии 3.6 и включая все модели Gemini 4, поддерживает эту функцию в своем Interactions API. Tool Retrieval совместим с кэшированием префиксов, поддерживая стабильные префиксы подсказок несмотря на динамическую загрузку схем, а также интегрируется с удаленными серверами MCP, отложенно загружая схемы для целых удаленных наборов инструментов.

Для пользователей с собственными регистрами инструментов или фильтрами прав доступен режим извлечения на стороне клиента, позволяющий динамически искать инструменты в ходе диалогов и добавлять новые инструменты в середине сессии. Google отмечает, что Tool Retrieval не влечет дополнительных расходов сверх стандартных ставок за входные и выходные токены, а экономия токенов обычно наблюдается при отложенной загрузке большого количества схем вместо их немедленной загрузки.

Google призывает разработчиков изучить документацию и приведенные примеры для реализации Tool Retrieval, стремясь облегчить создание более функциональных и отзывчивых приложений, взаимодействующих с обширными экосистемами инструментов. Это обновление представляет собой значительное улучшение в эффективной обработке сложных задач агентов, что является важным шагом в эволюции инструментов ИИ на платформе Gemini.

Gemini spark on a space background
Gemini spark on a space background · Источник ↗

Источники и первоисточники

Комментарии (0)

Комментариев пока нет. Начните обсуждение.

Написать комментарий

Комментарии публикуются после модерации. Ваше имя и комментарий будут видны всем. Аккаунт