Рейтинг Следование инструкциям x Тайм-аут

Посмотрите, какие AI-модели чаще всего сталкиваются с Тайм-аут в Следование инструкциям, чтобы быстрее находить слабые места. Сортировать по: Число сбоев ↑.

Показано моделей

Всего сбоев

Наиболее затронутая модель

Granite 4.2 8B 1

Причины сбоев

Неверный ответ111 Не соблюдены инструкции73 Ошибка API25 Лишнее форматирование8 Тайм-аут5 Нет ответа2

Категории

Предметно-ориентированное46 Программирование26 Агентные задачи11 Комбинированный11 Решение головоломок11 Анти-ИИ уловки8 Следование инструкциям5 Общий интеллект4 Парсинг и извлечение данных2 Эрудиция2

5/5

Ранг	Модель	Компания	Количество Тайм-аут	Оценка категории	Общая стоимость	Тестов верно	Время ответа (среднее)
#272	Granite 4.2 8B medium	IBM Granite	1	0.4	$0.029	0/2	36.9s
Всего тестов 2 Ошибочных тестов 2 Общая стоимость $0.029 Время ответа (среднее) 36.9s
#323	Granite 4.2 8B low	IBM Granite	1	0.3	$0.036	0/2	75.8s
Всего тестов 2 Ошибочных тестов 2 Общая стоимость $0.036 Время ответа (среднее) 75.8s
#326	Laguna XS 2.1 none	Poolside	1	0.4	$0.020	0/2	364ms
Всего тестов 2 Ошибочных тестов 2 Общая стоимость $0.020 Время ответа (среднее) 364ms
#362	Granite 4.2 8B high	IBM Granite	1	0.6	$0.111	1/2	87.5s
Всего тестов 2 Ошибочных тестов 1 Общая стоимость $0.111 Время ответа (среднее) 87.5s
#380	Granite 4.2 8B none	IBM Granite	1	0.3	$0.037	0/2	79.5s
Всего тестов 2 Ошибочных тестов 2 Общая стоимость $0.037 Время ответа (среднее) 79.5s

Фильтровать модели

Лучшие модели по Количество Тайм-аут

Количество Тайм-аут против Оценка

Лучшие модели по Время ответа (среднее)

Лучшие модели по Оценочная стоимость потерь

Следование инструкциям: Тайм-аут

Фильтровать модели

Лучшие модели по Количество Тайм-аут

Количество Тайм-аут против Оценка

Лучшие модели по Время ответа (среднее)

Лучшие модели по Оценочная стоимость потерь