САН-ФРАНЦИСКО — 3 июня — Четырнадцать ведущих организаций в области блокчейна и искусственного интеллекта, включая Cyber, EigenLayer, Sentient и другие, сегодня объявили о создании Альянса Крипто ИИ Бенчмарков (CAIBA). Эта инициатива, управляемая сообществом, направлена на установление прозрачных стандартов для оценки моделей и агентов ИИ в криптоэкосистеме.
Основатели — Alchemy, Cyber, EigenLayer, Goldsky, IOSG, LazAI, Magic Newton, Metis, MyShell, OpenGradient, RootData, Sentient, Surf и Thirdweb — предоставляют наборы данных, инструменты и отраслевые знания для создания фреймворка бенчмаркинга. Каждый бенчмарк будет включать задачи, эталонные ответы и скрипты оценки, опубликованные на платформах, таких как GitHub и Hugging Face под открытыми лицензиями, когда это возможно.
Модели ИИ играют все более важную роль в криптоиндустрии, обеспечивая работу всего – от торговых инструментов до исследовательских помощников. Однако большинство существующих бенчмарков ИИ не учитывают специфические требования криптоиндустрии. CAIBA стремится восполнить этот пробел, разрабатывая бенчмарки, специфичные для криптоиндустрии.
«Прозрачное и строгое тестирование имеет решающее значение», — заявил Райан Ли, соучредитель Cyber. «Модели должны не только отвечать правильно, но и действовать надежно, чтобы пользователи могли принимать решения с уверенностью».
Первый релиз альянса — бенчмарк для Крипто ИИ Агентов (CAIA) — уже доступен. CAIA оценивает ИИ по трем ключевым направлениям:
-
Знания: Точные ответы на вопросы, связанные с протоколами и токенами.
-
Планирование: Разработка многошаговых задач.
-
Действия: Использование таких инструментов, как обозреватели блоков и API для выполнения задач.
CAIA включает задачи, связанные с токеномикой, анализом данных блокчейна, исследованиями проектов и рабочими процессами транзакций. Оцениваемые модели включают универсальные LLM, такие как GPT-4o, Claude 4, Gemini 2.5 и DeepSeek-1, а также модели, изначально созданные для криптоиндустрии.
Цель CAIBA — повысить надежность ИИ в криптоиндустрии за счет создания открытых, специализированных бенчмарков, отражающих реальное использование этих инструментов. Тестируя модели на реальных задачах, альянс устанавливает общий стандарт для оценки производительности в криптоконтексте.
Дополнительные бенчмарки уже находятся в разработке, и альянс открыт для новых участников. Разработчики, исследователи и протоколы могут принять участие, отправляя модели на оценку или предлагая новые задачи.
Об Альянсе Крипто ИИ Бенчмарков (CAIBA)
Альянс Крипто ИИ Бенчмарков — это инициатива, управляемая сообществом, которая устанавливает стандарты для оценки производительности моделей ИИ в криптоспецифических контекстах. Благодаря открытым наборам данных, воспроизводимым задачам и публичным таблицам лидеров, CAIBA предоставляет инструменты, которые помогают разработчикам, исследователям и протоколам измерять и улучшать системы ИИ, используемые в блокчейн-приложениях. Для получения дополнительной информации посетите caiba.ai.
