KAT-Coder-Air V2.5 (high) лидирует по среднему баллу: 5.6 vs 5.5. Qwen3.8 27B имеет более низкую стоимость benchmark: ~$0.006 vs $0.077. Qwen3.8 27B быстрее: 3.12s vs 15.87s, с долей успешных попыток 42.4% vs 40.9%.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в:
2026-09-28
Сравниваемые модели
Ранг
#265
Общее число выходных токенов
114,654
Время ответа (среднее)
15.87s
Общая стоимость
$0.077
Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
Ранг
#277
Общее число выходных токенов
11,445
Время ответа (среднее)
3.12s
Общая стоимость
~$0.006Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
Рекомендуемая модельQwen3.8 27B
Его балл близок к лучшему здесь (5.5 против 5.6), при этом он примерно в 13.5 раза дешевле, чем KAT-Coder-Air V2.5 (high).
Qwen3.8 27BQwen3.8 27BnoneОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.Релиз: 2026-08-14
Оценка
5.6Средний балл по всем бенчмарк-тестам.…
5.5Средний балл по всем бенчмарк-тестам.…
Ранг
#265
#277
Надежность
9.8Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
8.1Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Попытки
66/66
66/66
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 9Ошибка API: 3Лишнее форматирование: 3Время ответа (среднее)15.87sВремя ответа (макс.)118.35sВремя ответа (суммарно)349.16sТест считается полностью пройденным, только если все его прогоны успешны.…
42.4%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
40.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
5Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
66Всего запусков…
66Всего запусков…
Стоимость за результат
1.091
~0.063Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
Общая стоимость
$0.077
~$0.006Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
Цена входа
$0.150 / 1MЦена входа…
Н/ДЦена входа…
Цена выхода
$0.600 / 1MЦена выхода…
Н/ДЦена выхода…
Общее число входных токенов
50,423Общее число входных токенов…
122,463Общее число входных токенов…
Выходные токены
4,144Выходные токены…
11,445Выходные токены…
Токены рассуждений
110,510Токены рассуждений…
0Токены рассуждений…
Время ответа (среднее)
15.87sВремя ответа (среднее)…
3.12sВремя ответа (среднее)…
Время ответа (макс.)
118.35sВремя ответа (макс.)…
44.76sВремя ответа (макс.)…
Время ответа (суммарно)
349.16sВремя ответа (суммарно)…
68.69sВремя ответа (суммарно)…
Параметры
~35B всего (~3B активных)
27.3B
Доступность
Закрытая модель
Веса доступны
Генерация showcase моделей
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#265 KAT-Coder-Air V2.5
high
Reached the allocated time limit (300 seconds) without receiving showcase output.
Стоимость
$0.000
Время
300.0s
Токены
0 tok
#277 Qwen3.8 27B
noneОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
Стоимость
~$0.001Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0066 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000657.
5.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
75.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Неверный ответ: 1Время ответа (среднее)2.49sВремя ответа (макс.)3.97sВремя ответа (суммарно)9.97sТест считается полностью пройденным, только если все его прогоны успешны.…
2.49sВремя ответа (среднее)…
615Общее число входных токенов…
204Выходные токены…
1,290Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
6.5Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)828msВремя ответа (макс.)1.95sВремя ответа (суммарно)3.31sТест считается полностью пройденным, только если все его прогоны успешны.…
7.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
11.1%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Лишнее форматирование: 1Неверный ответ: 1Время ответа (среднее)39.07sВремя ответа (макс.)104.98sВремя ответа (суммарно)117.21sТест считается полностью пройденным, только если все его прогоны успешны.…
39.07sВремя ответа (среднее)…
6,948Общее число входных токенов…
1,166Выходные токены…
55,883Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
5.5Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)1.19sВремя ответа (макс.)1.97sВремя ответа (суммарно)3.56sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)74.48sВремя ответа (макс.)118.35sВремя ответа (суммарно)148.95sТест считается полностью пройденным, только если все его прогоны успешны.…
74.48sВремя ответа (среднее)…
23,854Общее число входных токенов…
485Выходные токены…
28,559Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Недопустимый вызов инструмента: 1Неверный ответ: 1Время ответа (среднее)24.10sВремя ответа (макс.)44.76sВремя ответа (суммарно)48.21sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)3.59sВремя ответа (макс.)4.92sВремя ответа (суммарно)7.18sТест считается полностью пройденным, только если все его прогоны успешны.…
3.59sВремя ответа (среднее)…
7,776Общее число входных токенов…
284Выходные токены…
2,140Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
6.5Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)1.14sВремя ответа (макс.)1.18sВремя ответа (суммарно)2.27sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Лишнее форматирование: 2Неверный ответ: 1Время ответа (среднее)7.28sВремя ответа (макс.)8.71sВремя ответа (суммарно)21.85sТест считается полностью пройденным, только если все его прогоны успешны.…
7.28sВремя ответа (среднее)…
724Общее число входных токенов…
1,101Выходные токены…
7,738Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
7.7Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)552msВремя ответа (макс.)675msВремя ответа (суммарно)1.66sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)7.10sВремя ответа (макс.)7.10sВремя ответа (суммарно)7.10sТест считается полностью пройденным, только если все его прогоны успешны.…
7.10sВремя ответа (среднее)…
516Общее число входных токенов…
179Выходные токены…
539Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
4.2Средний балл по всем бенчмарк-тестам.…
9.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)1.31sВремя ответа (макс.)1.31sВремя ответа (суммарно)1.31sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)1.51sВремя ответа (макс.)1.91sВремя ответа (суммарно)3.01sТест считается полностью пройденным, только если все его прогоны успешны.…
1.51sВремя ответа (среднее)…
699Общее число входных токенов…
90Выходные токены…
675Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
6.3Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)582msВремя ответа (макс.)633msВремя ответа (суммарно)1.16sТест считается полностью пройденным, только если все его прогоны успешны.…
4.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)2.47sВремя ответа (макс.)2.86sВремя ответа (суммарно)7.40sТест считается полностью пройденным, только если все его прогоны успешны.…
2.47sВремя ответа (среднее)…
696Общее число входных токенов…
285Выходные токены…
1,576Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
6.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)1.25sВремя ответа (макс.)1.84sВремя ответа (суммарно)3.76sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.77sВремя ответа (макс.)4.77sВремя ответа (суммарно)4.77sТест считается полностью пройденным, только если все его прогоны успешны.…
4.77sВремя ответа (среднее)…
8,391Общее число входных токенов…
330Выходные токены…
1,082Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.75sВремя ответа (макс.)2.75sВремя ответа (суммарно)2.75sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)21.72sВремя ответа (макс.)21.72sВремя ответа (суммарно)21.72sТест считается полностью пройденным, только если все его прогоны успешны.…
21.72sВремя ответа (среднее)…
204Общее число входных токенов…
20Выходные токены…
11,028Токены рассуждений…
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)703msВремя ответа (макс.)703msВремя ответа (суммарно)703msТест считается полностью пройденным, только если все его прогоны успешны.…