Таблица лидеров AI Benchy

Name: Результаты бенчмарка моделей AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-10-17 Оценено моделей: 442

Рекомендуемые модели

GPT-6.1 Sol xhigh Интеллектуальная Доля успешных попыток 97.1% Тестов верно 22 / 23 Оценка 9.9/10 Gemini 3.7 Flash low Быстрая Время ответа (среднее) 6.24s Общее число выходных токенов 38,453 Оценка 9.4/10 GPT-6 Luna high Доступная Цена входа $0.100 / 1M Цена выхода $0.500 / 1M Цена чтения из кэша $0.010 / 1M Цена записи в кэш $0.125 / 1M Оценка 7.7/10

442/442

Ранг	Модель	Оценка	Компания	Общая стоимость	Время ответа (среднее)
#258#258	Grok 4.20medium	6.3	X AI	$1.246 ↓	36.73s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 12 Надежность 10.0 Доля успешных попыток 58.0% Нестабильные тесты 5 Входные токены 392,127 Выходные токены 7,754 Токены рассуждений 294,333 Время ответа (среднее) 36.73s Время ответа (суммарно) 844.68s Время ответа (макс.) 199.66s Неверный ответ: 7 Лишнее форматирование: 2 Не соблюдены инструкции: 2 Недопустимый вызов инструмента: 1 Агентные задачи : 3.0 Анти-ИИ уловки : 8.2 Программирование : 6.3 Комбинированный : 8.7 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 2.9 Общий интеллект : 3.9 Следование инструкциям : 9.8 Решение головоломок : 7.7 Вызов инструментов : 3.0 Эрудиция : 3.0
#61#61	Muse Spark Openmedium	8.8	Meta	$1.260	77.44s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 8 Надежность 9.8 Доля успешных попыток 78.3% Нестабильные тесты 5 Входные токены 256,646 Выходные токены 10,490 Токены рассуждений 210,325 Время ответа (среднее) 77.44s Время ответа (суммарно) 1781.16s Время ответа (макс.) 643.19s Неверный ответ: 3 Не соблюдены инструкции: 2 Лишнее форматирование: 1 Нет ответа: 1 Тайм-аут: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 6.9 Программирование : 8.2 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.9 Общий интеллект : 10.0 Следование инструкциям : 7.3 Решение головоломок : 8.4 Вызов инструментов : 10.0 Эрудиция : 3.0
#151#151	Seed-2.0-Codemedium	7.4	Bytedance Seed	$1.275	100.65s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 12 Надежность 8.0 Доля успешных попыток 65.2% Нестабильные тесты 7 Входные токены 244,499 Выходные токены 8,744 Токены рассуждений 375,349 Время ответа (среднее) 100.65s Время ответа (суммарно) 2314.88s Время ответа (макс.) 626.58s Неверный ответ: 6 Ошибка API: 4 Лишнее форматирование: 1 Не соблюдены инструкции: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 6.9 Программирование : 8.9 Комбинированный : 4.7 Парсинг и извлечение данных : 7.3 Предметно-ориентированное : 5.3 Общий интеллект : 4.8 Следование инструкциям : 9.8 Решение головоломок : 8.2 Вызов инструментов : 4.7 Эрудиция : 3.0
#119#119	Gemini 3.5 Flashmedium	7.9	Google	$1.316	11.78s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 5 Надежность 10.0 Доля успешных попыток 81.2% Нестабильные тесты 2 Входные токены 296,760 Выходные токены 4,371 Токены рассуждений 92,284 Время ответа (среднее) 11.78s Время ответа (суммарно) 271.03s Время ответа (макс.) 84.47s Неверный ответ: 3 Не соблюдены инструкции: 1 Недопустимый вызов инструмента: 1 Агентные задачи : 2.8 Анти-ИИ уловки : 10.0 Программирование : 7.9 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 10.0 Следование инструкциям : 9.9 Решение головоломок : 7.7 Вызов инструментов : 10.0 Эрудиция : 10.0
#37#37	GPT-5.3-Codexmedium	9.1	OpenAI	$1.318	18.87s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 6 Надежность 10.0 Доля успешных попыток 84.1% Нестабильные тесты 4 Входные токены 222,794 Выходные токены 7,357 Токены рассуждений 58,930 Время ответа (среднее) 18.87s Время ответа (суммарно) 433.94s Время ответа (макс.) 100.93s Неверный ответ: 4 Не соблюдены инструкции: 2 Агентные задачи : 10.0 Анти-ИИ уловки : 8.7 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.9 Общий интеллект : 4.6 Следование инструкциям : 10.0 Решение головоломок : 9.0 Вызов инструментов : 10.0 Эрудиция : 2.8
#129#129	Grok 4.5low	7.8	X AI	$1.345	18.14s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 7 Надежность 10.0 Доля успешных попыток 73.9% Нестабильные тесты 2 Входные токены 308,068 Выходные токены 9,218 Токены рассуждений 112,197 Время ответа (среднее) 18.14s Время ответа (суммарно) 417.21s Время ответа (макс.) 205.28s Неверный ответ: 7 Агентные задачи : 5.0 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 6.5 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 2.9 Общий интеллект : 6.1 Следование инструкциям : 9.8 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 3.0
#6#6	GPT-6.1 Solxhigh	9.9	OpenAI	$1.377	33.11s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 1 Надежность 10.0 Доля успешных попыток 97.1% Нестабильные тесты 1 Входные токены 175,712 Выходные токены 5,640 Токены рассуждений 96,842 Время ответа (среднее) 33.11s Время ответа (суммарно) 761.52s Время ответа (макс.) 491.85s Неверный ответ: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 7.6 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 10.0
#146#146	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 11 Надежность 9.0 Доля успешных попыток 65.2% Нестабильные тесты 6 Входные токены 230,895 Выходные токены 161,281 Токены рассуждений 510,655 Время ответа (среднее) 263.69s Время ответа (суммарно) 6064.89s Время ответа (макс.) 1727.29s Неверный ответ: 6 Не соблюдены инструкции: 2 Нет ответа: 2 Тайм-аут: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 8.3 Программирование : 3.3 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 3.5 Общий интеллект : 10.0 Следование инструкциям : 8.4 Решение головоломок : 5.4 Вызов инструментов : 10.0 Эрудиция : 3.0
#204#204	Grok Build 0.1medium	6.7	X AI	$1.419	55.13s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 10 Надежность 10.0 Доля успешных попыток 58.0% Нестабильные тесты 1 Входные токены 358,616 Выходные токены 9,651 Токены рассуждений 520,155 Время ответа (среднее) 55.13s Время ответа (суммарно) 1268.10s Время ответа (макс.) 252.69s Неверный ответ: 6 Лишнее форматирование: 3 Недопустимый вызов инструмента: 1 Агентные задачи : 3.4 Анти-ИИ уловки : 8.3 Программирование : 5.7 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 2.9 Общий интеллект : 4.4 Следование инструкциям : 9.8 Решение головоломок : 7.7 Вызов инструментов : 10.0 Эрудиция : 3.0
#78#78	Claude Sonnet 5medium	8.5	Anthropic	$1.438	15.01s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 7 Надежность 10.0 Доля успешных попыток 76.8% Нестабильные тесты 3 Входные токены 353,658 Выходные токены 54,891 Токены рассуждений 18,370 Время ответа (среднее) 15.01s Время ответа (суммарно) 345.16s Время ответа (макс.) 69.26s Неверный ответ: 5 Не соблюдены инструкции: 1 Недопустимый вызов инструмента: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 9.0 Комбинированный : 7.3 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 4.8 Следование инструкциям : 9.9 Решение головоломок : 7.7 Вызов инструментов : 10.0 Эрудиция : 3.0
#147#147	Seed-2.0-Codehigh	7.5	Bytedance Seed	$1.448	124.87s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 11 Надежность 9.0 Доля успешных попыток 65.2% Нестабильные тесты 5 Входные токены 297,321 Выходные токены 8,997 Токены рассуждений 423,853 Время ответа (среднее) 124.87s Время ответа (суммарно) 2871.96s Время ответа (макс.) 675.30s Неверный ответ: 6 Ошибка API: 3 Не соблюдены инструкции: 1 Нет ответа: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 8.3 Программирование : 6.2 Комбинированный : 7.3 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 3.5 Общий интеллект : 4.6 Следование инструкциям : 9.8 Решение головоломок : 7.8 Вызов инструментов : 4.7 Эрудиция : 3.0
#219#219	Step 3.7 Flashhigh	6.6	Stepfun	$1.478 ↑	72.72s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 12 Надежность 10.0 Доля успешных попыток 58.0% Нестабильные тесты 4 Входные токены 421,200 Выходные токены 1,100,052 Токены рассуждений 0 Время ответа (среднее) 72.72s Время ответа (суммарно) 1672.53s Время ответа (макс.) 364.99s Неверный ответ: 8 Нет ответа: 2 Ошибка API: 1 Недопустимый вызов инструмента: 1 Агентные задачи : 5.4 Анти-ИИ уловки : 10.0 Программирование : 4.0 Комбинированный : 8.7 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 3.6 Общий интеллект : 5.5 Следование инструкциям : 9.8 Решение головоломок : 5.3 Вызов инструментов : 10.0 Эрудиция : 3.0
#184#184	Ember-1low	7.0	Fireworks	$1.488	34.90s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 10 Надежность 8.8 Доля успешных попыток 65.2% Нестабильные тесты 5 Входные токены 211,908 Выходные токены 14,158 Токены рассуждений 42,608 Время ответа (среднее) 34.90s Время ответа (суммарно) 802.79s Время ответа (макс.) 121.29s Ошибка API: 6 Неверный ответ: 3 Недопустимый вызов инструмента: 1 Агентные задачи : 4.7 Анти-ИИ уловки : 8.2 Программирование : 10.0 Комбинированный : 6.5 Парсинг и извлечение данных : 7.3 Предметно-ориентированное : 2.9 Общий интеллект : 10.0 Следование инструкциям : 6.2 Решение головоломок : 10.0 Вызов инструментов : 3.0 Эрудиция : 3.0
#72#72	Claude Sonnet 5.5xhigh	8.6	Anthropic	$1.516	14.98s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 7 Надежность 10.0 Доля успешных попыток 79.7% Нестабильные тесты 4 Входные токены 342,579 Выходные токены 12,848 Токены рассуждений 70,193 Время ответа (среднее) 14.98s Время ответа (суммарно) 344.60s Время ответа (макс.) 54.92s Неверный ответ: 3 Лишнее форматирование: 1 Не соблюдены инструкции: 1 Недопустимый вызов инструмента: 1 Нет ответа: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 8.2 Комбинированный : 8.7 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 2.9 Общий интеллект : 6.5 Следование инструкциям : 10.0 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 3.0
#41#41	Paretodefault	9.1	Unbiased	$1.520	33.47s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 4 Надежность 10.0 Доля успешных попыток 87.0% Нестабильные тесты 2 Входные токены 223,559 Выходные токены 128,144 Токены рассуждений 0 Время ответа (среднее) 33.47s Время ответа (суммарно) 769.84s Время ответа (макс.) 143.33s Неверный ответ: 3 Недопустимый вызов инструмента: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 7.2 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 7.7 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 8.2 Вызов инструментов : 10.0 Эрудиция : 2.8
#144#144	GLM 5.1medium	7.5	Z.ai	$1.546 ↑	66.38s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 10 Надежность 9.2 Доля успешных попыток 66.7% Нестабильные тесты 4 Входные токены 331,577 Выходные токены 17,919 Токены рассуждений 230,789 Время ответа (среднее) 66.38s Время ответа (суммарно) 1460.31s Время ответа (макс.) 308.75s Неверный ответ: 5 Тайм-аут: 2 Ошибка API: 1 Лишнее форматирование: 1 Нет ответа: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 4.6 Комбинированный : 9.8 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 3.0 Общий интеллект : 10.0 Следование инструкциям : 6.4 Решение головоломок : 8.2 Вызов инструментов : 3.0 Эрудиция : 3.0
#65#65	GPT-5.2medium	8.7	OpenAI	$1.558 ↑	31.29s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 8 Надежность 10.0 Доля успешных попыток 73.9% Нестабильные тесты 4 Входные токены 235,207 Выходные токены 11,065 Токены рассуждений 69,473 Время ответа (среднее) 31.29s Время ответа (суммарно) 531.98s Время ответа (макс.) 116.86s Не соблюдены инструкции: 3 Неверный ответ: 3 Нет ответа: 1 Тайм-аут: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 6.5 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.9 Общий интеллект : 3.7 Следование инструкциям : 9.9 Решение головоломок : 7.5 Вызов инструментов : 4.7 Эрудиция : 3.0
#85#85	Gemini 3.1 Pro Previewmedium	8.4	Google	$1.585	22.71s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 3 Надежность 9.8 Доля успешных попыток 89.9% Нестабильные тесты 1 Входные токены 176,208 Выходные токены 6,093 Токены рассуждений 96,598 Время ответа (среднее) 22.71s Время ответа (суммарно) 386.11s Время ответа (макс.) 88.68s Неверный ответ: 2 Тайм-аут: 1 Агентные задачи : 4.7 Анти-ИИ уловки : 10.0 Программирование : 7.9 Комбинированный : 9.8 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 7.7 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 10.0
#55#55	Muse Spark 1.2medium	8.9	Meta	$1.590	21.28s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 8 Надежность 10.0 Доля успешных попыток 75.4% Нестабильные тесты 4 Входные токены 292,604 Выходные токены 9,569 Токены рассуждений 278,408 Время ответа (среднее) 21.28s Время ответа (суммарно) 489.46s Время ответа (макс.) 142.49s Не соблюдены инструкции: 3 Неверный ответ: 3 Лишнее форматирование: 1 Недопустимый вызов инструмента: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 7.3 Программирование : 10.0 Комбинированный : 8.5 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 6.1 Следование инструкциям : 9.8 Решение головоломок : 8.7 Вызов инструментов : 10.0 Эрудиция : 3.0
#196#196	Kimi K2.6medium	6.8	Moonshot AI	$1.594 ↑	121.25s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 11 Надежность 10.0 Доля успешных попыток 60.9% Нестабильные тесты 4 Входные токены 226,880 Выходные токены 65,346 Токены рассуждений 331,325 Время ответа (среднее) 121.25s Время ответа (суммарно) 2667.55s Время ответа (макс.) 876.20s Неверный ответ: 4 Тайм-аут: 3 Не соблюдены инструкции: 2 Недопустимый вызов инструмента: 1 Нет ответа: 1 Агентные задачи : 5.0 Анти-ИИ уловки : 7.0 Программирование : 5.7 Комбинированный : 6.9 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 6.0 Вызов инструментов : 10.0 Эрудиция : 3.0
#22#22	GPT-5.6 Solhigh	9.5	OpenAI	$1.595 ↑	13.59s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 4 Надежность 10.0 Доля успешных попыток 89.9% Нестабильные тесты 3 Входные токены 195,567 Выходные токены 5,841 Токены рассуждений 26,230 Время ответа (среднее) 13.59s Время ответа (суммарно) 312.61s Время ответа (макс.) 59.99s Неверный ответ: 4 Агентные задачи : 10.0 Анти-ИИ уловки : 8.7 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 4.7
#43#43	Muse Wonderminimal	9.1	Meta	$1.639	7.72s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 6 Надежность 9.7 Доля успешных попыток 76.8% Нестабильные тесты 2 Входные токены 238,532 Выходные токены 9,812 Токены рассуждений 24,412 Время ответа (среднее) 7.72s Время ответа (суммарно) 177.57s Время ответа (макс.) 42.89s Ошибка API: 3 Неверный ответ: 3 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 5.3 Общий интеллект : 10.0 Следование инструкциям : 6.5 Решение головоломок : 5.3 Вызов инструментов : 10.0 Эрудиция : 3.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 5 Надежность 10.0 Доля успешных попыток 81.2% Нестабильные тесты 2 Входные токены 241,855 Выходные токены 8,387 Токены рассуждений 600,946 Время ответа (среднее) 161.25s Время ответа (суммарно) 3708.70s Время ответа (макс.) 739.98s Неверный ответ: 3 Нет ответа: 2 Агентные задачи : 10.0 Анти-ИИ уловки : 8.2 Программирование : 10.0 Комбинированный : 10.0 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 2.9 Общий интеллект : 10.0 Следование инструкциям : 9.8 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 3.0
#56#56	Muse Spark 1.1medium	8.9	Meta	$1.665	27.02s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 7 Надежность 10.0 Доля успешных попыток 73.9% Нестабильные тесты 2 Входные токены 305,707 Выходные токены 10,240 Токены рассуждений 291,479 Время ответа (среднее) 27.02s Время ответа (суммарно) 621.38s Время ответа (макс.) 165.38s Неверный ответ: 4 Не соблюдены инструкции: 2 Недопустимый вызов инструмента: 1 Агентные задачи : 10.0 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 8.3 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 3.5 Общий интеллект : 10.0 Следование инструкциям : 6.5 Решение головоломок : 7.9 Вызов инструментов : 9.8 Эрудиция : 3.0
#79#79	Qwen3.7 Maxmedium	8.5	Qwen	$1.689 ↓	48.35s
Открыть карточку модели Всего тестов 23 Ошибочных тестов 6 Надежность 10.0 Доля успешных попыток 85.5% Нестабильные тесты 4 Входные токены 367,848 Выходные токены 8,753 Токены рассуждений 250,279 Время ответа (среднее) 48.35s Время ответа (суммарно) 1112.11s Время ответа (макс.) 556.06s Неверный ответ: 5 Недопустимый вызов инструмента: 1 Агентные задачи : 6.1 Анти-ИИ уловки : 10.0 Программирование : 10.0 Комбинированный : 8.7 Парсинг и извлечение данных : 10.0 Предметно-ориентированное : 4.1 Общий интеллект : 10.0 Следование инструкциям : 10.0 Решение головоломок : 10.0 Вызов инструментов : 10.0 Эрудиция : 3.0

Глобальные тренды бенчмарка

Посмотрите, как современные модели балансируют оценку, стоимость, скорость, длину ответа и результаты по категориям.

Графики →

Граница Парето: интеллект и стоимость

Рост лучших оценок ведущих компаний со временем

Граница Парето: интеллект и скорость ответа

Граница Парето: оценка и выходные токены

Сложность категорий по всем моделям

Быстрое сравнение

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow