Рейтинг сбоев по Не соблюдены инструкции | AI BENCHY

Посмотрите, какие AI-модели чаще всего сталкиваются с Не соблюдены инструкции, чтобы заранее заметить риски надежности. Сортировать по: Тестов верно ↓.

Показано моделей

5

Всего сбоев

245

Наиболее затронутая модель

Gemini 3.5 Flash 1

Категории

В категории Решение головоломок90 В категории Общий интеллект78 В категории Анти-ИИ уловки33 В категории Следование инструкциям18 В категории Программирование16 В категории Вызов инструментов8 В категории Комбинированный1 В категории Предметно-ориентированное1

140/140

Ранг	Модель	Компания	Количество Не соблюдены инструкции	Оценка	Общая стоимость	Тестов верно	Время ответа (среднее)
#203	Grok 4.1 Fast none	X AI	3	3.8	$0.008	3/19	1.62s
Всего тестов 19 Ошибочных тестов 16 Общая стоимость $0.008 Время ответа (среднее) 1.62s
#204	Qwen3.5-9B medium	Qwen	1	3.8	$0.036	3/22	82.2s
Всего тестов 22 Ошибочных тестов 19 Общая стоимость $0.036 Время ответа (среднее) 82.2s
#210	LFM2-24B-A2B none	Liquid	1	2.2	$0.001	2/16	782ms
Всего тестов 16 Ошибочных тестов 14 Общая стоимость $0.001 Время ответа (среднее) 782ms
#208	Nemotron 3 Nano Omni 30b A3b Reasoning none	NVIDIA	2	3.2	$0.000	2/19	728ms
Всего тестов 19 Ошибочных тестов 17 Общая стоимость $0.000 Время ответа (среднее) 728ms
#201	Granite 4.1 8B none	IBM Granite	4	4.0	$0.007	2/22	1.45s
Всего тестов 22 Ошибочных тестов 20 Общая стоимость $0.007 Время ответа (среднее) 1.45s

←

1 9 10

Лучшие модели по Количество Не соблюдены инструкции

Количество Не соблюдены инструкции против Оценка

Лучшие модели по Время ответа (среднее)