Офис Positive Technologies станет одним из 18 офлайн-хабов международного соревнования по автономным ИИ-агентам BitGN Agent Challenge: Personal & Trustworthy. Участники чемпионата разворачивают своих ИИ-агентов на специальной платформе, которая оценивает их способность надежно решать практические задачи в контролируемой среде. Всего в соревновании участвуют более 600 инженеров из 86 городов мира. Вена станет штаб-квартирой финала, а остальные 17 офлайн-хабов расположены по всему миру, офис Positive Technologies — московский хаб.
Главная проблема большинства бенчмарков как для LLM, так и для агентов заключается в их воспроизводимости. Агент, показавший высокий результат на одном прогоне, может провалиться на следующем, потому что среда исполнения не зафиксирована, а оценка субъективна. BitGN решает это через детерминированный контракт: агент подключается к платформе по API и работает в строго контролируемой среде с заранее заданными инструментами, файлами и состоянием задачи.
Такой подход позволяет сравнивать агентные системы не по отдельным демонстрациям, а по воспроизводимым результатам, что важно для оценки применимости агентов в бизнесе, разработке и информационной безопасности.
Соревнование проходит в два этапа: тренировочный стенд открыт в бессрочном режиме с 25 февраля, финал 11 апреля в гибридном формате. Участие бесплатное. Чемпионат проводят с 2024 года, в прошлом году в нём приняли участие более 500 команд, которые провели свыше 360 000 оценок агентов.
Регистрация в хаб доступна по ссылке.
Подписывайтесь на InScience.News в социальных сетях: ВКонтакте, Telegram, Одноклассники.
