Рейтинг Агентные задачи x Неверный ответ

Посмотрите, какие AI-модели чаще всего сталкиваются с Неверный ответ в Агентные задачи, чтобы быстрее находить слабые места. Сортировать по: Тестов верно ↑.

Показано моделей

Всего сбоев

108

Наиболее затронутая модель

Grok 4.6 1

Причины сбоев

Неверный ответ108 Недопустимый вызов инструмента44 Ошибка API32 Не соблюдены инструкции14 Тайм-аут10

Категории

Предметно-ориентированное766 Анти-ИИ уловки446 Программирование429 Решение головоломок307 Эрудиция280 Комбинированный115 Общий интеллект112 Агентные задачи108 Следование инструкциям94 Парсинг и извлечение данных71

108/108

Ранг	Модель	Компания	Количество Неверный ответ	Оценка категории	Общая стоимость	Тестов верно	Время ответа (среднее)
#62	Grok 4.6 high	X AI	1	5.0	$2.629	0/1	160.9s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.629 Время ответа (среднее) 160.9s
#65	Qwen3.7 Max medium	Qwen	1	6.1	$2.046	0/1	137.0s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.046 Время ответа (среднее) 137.0s
#78	Claude Opus 4.8 medium	Anthropic	1	6.1	$3.490	0/1	99.4s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $3.490 Время ответа (среднее) 99.4s
#80	Grok 4.5 high	X AI	1	5.0	$2.571	0/1	77.0s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.571 Время ответа (среднее) 77.0s
#90	DeepSeek V4.1 Flash low	DeepSeek	1	6.1	$0.153	0/1	56.0s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $0.153 Время ответа (среднее) 56.0s
#102	Grok 4.5 medium	X AI	1	5.0	$2.454	0/1	65.2s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.454 Время ответа (среднее) 65.2s
#105	Grok 4.6 medium	X AI	1	5.0	$2.270	0/1	103.6s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.270 Время ответа (среднее) 103.6s
#108	Grok 4.5 low	X AI	1	5.0	$1.345	0/1	61.5s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $1.345 Время ответа (среднее) 61.5s
#116	Qwen3.8 27B low	Qwen	1	6.1	~$0.089	0/1	211.3s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость ~$0.089 Время ответа (среднее) 211.3s
#124	DeepSeek V4 Flash 0731 low	DeepSeek	1	4.7	$0.307	0/1	321.2s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $0.307 Время ответа (среднее) 321.2s
#127	Grok 4.7 low	X AI	1	5.0	$2.263	0/1	154.9s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $2.263 Время ответа (среднее) 154.9s
#134	Grok 4.7 medium	X AI	1	3.9	$3.501	0/1	372.1s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $3.501 Время ответа (среднее) 372.1s
#137	Qwen3.6 Plus medium	Qwen	1	4.7	$0.391	0/1	307.1s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $0.391 Время ответа (среднее) 307.1s
#140	Qwen3.5 Plus 2026-02-15 medium	Qwen	1	6.1	$0.567	0/1	186.4s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость $0.567 Время ответа (среднее) 186.4s
#141	Qwen3.8 27B medium	Qwen	1	4.7	~$0.073	0/1	187.9s
Всего тестов 1 Ошибочных тестов 1 Общая стоимость ~$0.073 Время ответа (среднее) 187.9s

Фильтровать модели

Лучшие модели по Количество Неверный ответ

Количество Неверный ответ против Оценка

Лучшие модели по Время ответа (среднее)

Лучшие модели по Оценочная стоимость потерь

Агентные задачи: Неверный ответ

Фильтровать модели

Лучшие модели по Количество Неверный ответ

Количество Неверный ответ против Оценка

Лучшие модели по Время ответа (среднее)