Сбои по категориям AI BENCHY
Программирование: Неверный ответ
Программирование
Неверный ответ
Посмотрите, какие AI-модели чаще всего сталкиваются с Неверный ответ в Программирование, чтобы быстрее находить слабые места.
Причины сбоев
134/134
Фильтровать модели
Нет моделей, соответствующих текущему поиску и фильтрам.
| Ранг | Модель | Компания | Количество Неверный ответ | Оценка категории | Общая стоимость | Тестов верно | Время ответа (среднее) |
|---|---|---|---|---|---|---|---|
| #153 | Mistral Small 4 medium | Mistral | 3 | 4.4 | $0.068 | 0/3 | 40.0s |
| #155 | Qwen3.5-9B none | Qwen | 3 | 3.9 | $0.006 | 0/3 | 5.60s |
| #159 | GPT-4o-mini none | OpenAI | 3 | 3.2 | $0.006 | 0/3 | 1.63s |
| #161 | GLM 4.7 Flash none | Z.ai | 3 | 4.3 | $0.004 | 0/3 | 2.54s |
| #162 | Nemotron 3 Super none | NVIDIA | 3 | 3.3 | $0.006 | 0/3 | 2.64s |
| #165 | GPT-5.4 Nano none | OpenAI | 3 | 4.6 | $0.011 | 0/3 | 2.22s |
| #171 | Mercury 2 none | Inception | 3 | 3.4 | $0.011 | 0/3 | 1.03s |
| #35 | Qwen3.5-27B medium | Qwen | 2 | 6.2 | $0.536 | 1/3 | 160.7s |
| #38 | GPT-5.6 Terra medium | OpenAI | 2 | 6.1 | $0.496 | 1/3 | 7.19s |
| #41 | Gemini 3.1 Flash Lite Preview medium | 2 | 5.5 | $0.068 | 1/3 | 4.09s | |
| #42 | Qwen3.5 Plus 2026-04-20 medium | Qwen | 2 | 6.2 | $0.317 | 1/3 | 125.3s |
| #43 | Gemini 3.1 Flash Lite medium | 2 | 5.5 | $0.071 | 1/3 | 3.81s | |
| #48 | GPT-5.6 Terra low | OpenAI | 2 | 6.6 | $0.343 | 1/3 | 9.56s |
| #51 | GPT-5.6 Luna high | OpenAI | 2 | 5.5 | $0.924 | 1/3 | 15.6s |
| #55 | GPT-5.6 Luna medium | OpenAI | 2 | 5.4 | $0.258 | 1/3 | 10.4s |