Навигация
AI BENCHY
Your ad here

AI BENCHY Compare

Сравниваемые модели

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-03-12

Метрика xAI: Grok 4.20 Beta Grok 4.20 Beta medium Релиз: 2026-03-12 xAI: Grok 4.20 Multi-Agent Beta Grok 4.20 Multi-Agent Beta medium Релиз: 2026-03-12 xAI: Grok 4.1 Fast Grok 4.1 Fast medium Релиз: 2025-11-19 Google: Gemini 3 Flash Preview Gemini 3 Flash Preview medium Релиз: 2025-12-17
Ранг #24 #47 #32 #1
Средний балл 7.0 4.9 6.2 10.0
Стабильность 9.0 7.1 7.9 10.0
Стоимость за результат 5.989 97.178 0.563 1.025
Общая стоимость $0.599 $4.859 $0.051 $0.164
Тестов верно
Доля успешных попыток 70.8% 52.1% 66.7% 100.0%
Нестабильные тесты 2 6 4 0
Всего запусков 48 48 48 48
Выходные токены 1,481 293,634 1,183 1,634
Токены рассуждений 86,628 291,260 83,875 47,907
Время ответа (среднее) 8.89s 9.08s 26.35s 12.36s
Время ответа (макс.) 24.21s 35.28s 121.79s 50.16s
Время ответа (суммарно) 142.18s 127.09s 237.11s 111.21s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Средний балл vs Время ответа (среднее)

Общее число выходных токенов

Средний балл vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.19s 262 6,289
Grok 4.20 Multi-Agent Beta 4.0 4.4 66.7% 2 3.77s 28,392 27,808
Grok 4.1 Fast 10.0 10.0 100.0% 0 5.65s 102 4,021
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 5.61s 299 3,127
Комбинированный Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 10.0 10.0 100.0% 0 20.93s 227 12,212
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 50.16s 351 12,645
Парсинг и извлечение данных Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 9.9 10.0 100.0% 0 4.01s 180 5,281
Grok 4.20 Multi-Agent Beta 9.9 10.0 100.0% 0 5.54s 25,306 25,051
Grok 4.1 Fast 9.9 10.0 100.0% 0 6.63s 180 5,409
Gemini 3 Flash Preview 9.9 10.0 100.0% 0 4.72s 279 5,333
Предметно-ориентированное Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 4.0 10.0 33.3% 0 21.33s 251 40,255
Grok 4.20 Multi-Agent Beta 10.0 7.2 11.1% 1 24.67s 164,609 163,647
Grok 4.1 Fast 4.0 4.4 66.7% 2 121.79s 11 37,657
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 21.12s 12 14,908
Общий интеллект Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 10.0 10.0 100.0% 0 5.78s 72 3,440
Grok 4.20 Multi-Agent Beta 4.0 2.8 66.7% 1 6.40s 15,848 15,746
Grok 4.1 Fast 3.0 9.9 0.0% 0 16.25s 127 3,456
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.09s 111 1,285
Следование инструкциям Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 9.0 10.0 50.0% 0 4.97s 57 7,107
Grok 4.20 Multi-Agent Beta 9.0 10.0 50.0% 0 4.63s 25,457 25,322
Grok 4.1 Fast 5.5 10.0 50.0% 0 5.30s 55 3,489
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 6.10s 72 4,558
Puzzle Solving Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.85s 249 6,660
Grok 4.20 Multi-Agent Beta 6.3 5.1 77.8% 2 5.01s 34,022 33,686
Grok 4.1 Fast 4.0 7.2 44.4% 1 8.08s 187 6,086
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.43s 276 4,921
Вызов инструментов Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Выходные токены Токены рассуждений
Grok 4.20 Beta 10.0 10.0 0.0% 0 12.39s 183 5,384
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 1.6 33.3% 1 27.71s 260 11,485
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 10.55s 234 1,130

Быстрое сравнение

Сменить пару сравнения

Qwen3.5 Plus 2026-02-15nonevsGrok 4.1 FastmediumQwen3.5-27BnonevsGrok 4.20 Multi-Agent BetamediumSeed-2.0-LitenonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewnonevsGrok 4.20 BetamediumQwen3.5-122B-A10BnonevsGrok 4.20 Multi-Agent BetamediumGrok 4.1 FastmediumvsGLM 5noneQwen3.5-35B-A3BnonevsGrok 4.20 Multi-Agent BetamediumGemini 3 Flash PreviewnonevsGrok 4.20 BetamediumClaude Sonnet 4.6nonevsGrok 4.20 BetamediumGPT-5.3 ChatnonevsGrok 4.20 BetamediumGemini 2.5 FlashnonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewlowvsGrok 4.20 Betamedium