Рейтинг Предметно-ориентированное x Неверный ответ

Сбои по категориям AI BENCHY

Посмотрите, какие AI-модели чаще всего сталкиваются с Неверный ответ в Предметно-ориентированное, чтобы быстрее находить слабые места.

Показано моделей

Всего сбоев

182

Наиболее затронутая модель

Причины сбоев

Неверный ответ182 Тайм-аут31 Лишнее форматирование8 Нет ответа2 Ошибка API2

Категории

Предметно-ориентированное182 Анти-ИИ уловки165 Решение головоломок85 Следование инструкциям44 Комбинированный37 Программирование28 Парсинг и извлечение данных19 Общий интеллект10 Вызов инструментов2

Ранг	Модель	Компания	Количество Неверный ответ	Оценка категории	Тестов верно	Время ответа (среднее)
#81	Elephant medium	Openrouter	3	3.0	0/3	925ms
#84	gpt-oss-120b none	OpenAI	3	3.0	0/3	35.0s
#85	Elephant none	Openrouter	3	3.0	0/3	927ms
#86	GPT-5.4 Mini none	OpenAI	3	3.5	0/3	937ms
#88	Nemotron 3 Super none	NVIDIA	3	3.6	0/3	6.23s
#89	GPT-4o-mini none	OpenAI	3	3.0	0/3	637ms
#90	Qwen3.5-9B none	Qwen	3	3.0	0/3	464ms
#96	GPT-5.4 Nano none	OpenAI	3	2.9	0/3	926ms
#5	Gemini 3 Flash Preview low	Google	2	5.3	1/3	8.05s
#6	Seed-2.0-Lite medium	Bytedance Seed	2	5.9	1/3	88.7s
#7	GPT-5.3-Codex medium	OpenAI	2	5.9	1/3	64.3s
#11	Gemini 3.1 Flash Lite Preview high	Google	2	5.3	1/3	127.6s
#12	Gemini 3 PRO Preview medium	Google	2	5.3	1/3	7.01s
#13	GLM 5 medium	Z.ai	2	3.5	0/3	0ms
#15	Gemini 2.5 Flash medium	Google	2	5.9	1/3	37.3s

←

1 2 3 4 5 6 7

→

Лучшие модели по Количество Неверный ответ