Рейтинг Программирование x Не соблюдены инструкции

Сбои по категориям AI BENCHY

Посмотрите, какие AI-модели чаще всего сталкиваются с Не соблюдены инструкции в Программирование, чтобы быстрее находить слабые места. Сортировать по: Тестов верно ↓.

Показано моделей

Всего сбоев

Наиболее затронутая модель

Grok 4.1 Fast 1

Причины сбоев

Неверный ответ26 Тайм-аут12 Ошибка API6 Не соблюдены инструкции2

Категории

Решение головоломок68 Общий интеллект55 Следование инструкциям22 Анти-ИИ уловки15 Вызов инструментов6 Программирование2

Ранг	Модель	Компания	Количество Не соблюдены инструкции	Оценка категории	Тестов верно	Время ответа (среднее)
#49	Grok 4.1 Fast medium	X AI	1	2.3	0/1	23.6s
#91	Qwen3.5-9B medium	Qwen	1	2.6	0/1	135.6s

Лучшие модели по Количество Не соблюдены инструкции

Количество Не соблюдены инструкции против Оценка

Лучшие модели по Время ответа (среднее)

Лучшие модели по Оценочная стоимость потерь

Программирование: Не соблюдены инструкции

Лучшие модели по Количество Не соблюдены инструкции

Количество Не соблюдены инструкции против Оценка

Лучшие модели по Время ответа (среднее)

Лучшие модели по Оценочная стоимость потерь