Рейтинг Предметно-ориентированное x Неверный ответ

Сбои по категориям AI BENCHY

Посмотрите, какие AI-модели чаще всего сталкиваются с Неверный ответ в Предметно-ориентированное, чтобы быстрее находить слабые места.

Показано моделей

Всего сбоев

314

Наиболее затронутая модель

Причины сбоев

Неверный ответ314 Тайм-аут34 Лишнее форматирование12 Ошибка API6 Нет ответа5 Не соблюдены инструкции1

Категории

Предметно-ориентированное314 Анти-ИИ уловки245 Программирование194 Решение головоломок147 Эрудиция130 Следование инструкциям53 Комбинированный52 Парсинг и извлечение данных35 Общий интеллект32 Вызов инструментов2

Ранг	Модель	Компания	Количество Неверный ответ	Оценка категории	Тестов верно	Время ответа (среднее)
#38	Grok 4.3 medium	X AI	2	5.3	1/3	181.7s
#46	Qwen3.6 35B A3B medium	Qwen	2	5.3	1/3	22.5s
#50	Gemini 3.1 Flash Lite Preview low	Google	2	5.3	1/3	2.36s
#54	GPT-5 Mini medium	OpenAI	2	3.6	0/3	44.6s
#57	Step 3.7 Flash low	Stepfun	2	5.3	1/3	43.3s
#58	Gemini 3.1 Flash Lite Preview none	Google	2	5.3	1/3	942ms
#59	GLM 5V Turbo medium	Z.ai	2	5.3	1/3	38.1s
#61	Gemini 3.1 Flash Lite low	Google	2	5.3	1/3	1.52s
#62	Step 3.5 Flash medium	Stepfun	2	5.3	1/3	170.5s
#64	MiMo-V2-Flash medium	Xiaomi	2	5.9	1/3	96.0s
#68	Claude Opus 4.8 none	Anthropic	2	5.3	1/3	1.66s
#70	GPT-5.4 Nano medium	OpenAI	2	5.9	1/3	38.2s
#71	Step 3.7 Flash high	Stepfun	2	4.1	0/3	149.6s
#72	DeepSeek V3.2 medium	DeepSeek	2	2.9	0/3	24.3s
#76	Kimi K2.5 medium	Moonshot AI	2	3.5	0/3	137.3s

Лучшие модели по Количество Неверный ответ