Средний балл практически равен: 6.5 vs 6.5. GLM 5.1 имеет более низкую стоимость benchmark: $0.451 vs $0.506. GLM 5.1 быстрее: 11.10s vs 21.21s, с долей успешных попыток 60.9% vs 47.8%.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в:
2026-11-13
Сравниваемые модели
Ранг
#275
Общее число выходных токенов
144,359
Время ответа (среднее)
21.21s
Общая стоимость
$0.506
Ранг
#274
Общее число выходных токенов
20,076
Время ответа (среднее)
11.10s
Общая стоимость
$0.451
Рекомендуемая модельGLM 5.1
Здесь у него лучший балл (6.5), и он отвечает примерно в 1.9 раза быстрее, чем KAT-Coder-Pro V2.5 (high).
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
7.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
8.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Попытки
69/69
69/69
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 10Ошибка API: 1Недопустимый вызов инструмента: 1Время ответа (среднее)21.21sВремя ответа (макс.)199.97sВремя ответа (суммарно)487.83sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 12Недопустимый вызов инструмента: 1Нет ответа: 1Время ответа (среднее)11.10sВремя ответа (макс.)107.19sВремя ответа (суммарно)255.39sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
60.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
47.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
6Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
5Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
69Всего запусков…
69Всего запусков…
Стоимость за результат
4.599
3.478
Общая стоимость
$0.506
$0.451
Цена входа
$0.740 / 1MЦена входа…
$1.400 / 1MЦена входа…
Цена выхода
$2.960 / 1MЦена выхода…
$4.400 / 1MЦена выхода…
Цена чтения из кэша
$0.150 / 1MЦена чтения из кэша…
$0.260 / 1MЦена чтения из кэша…
Цена записи в кэш
Н/ДЦена записи в кэш…
Н/ДЦена записи в кэш…
Общее число входных токенов
106,085Общее число входных токенов…
258,956Общее число входных токенов…
Выходные токены
9,071Выходные токены…
20,076Выходные токены…
Токены рассуждений
135,288Токены рассуждений…
0Токены рассуждений…
Время ответа (среднее)
21.21sВремя ответа (среднее)…
11.10sВремя ответа (среднее)…
Время ответа (макс.)
199.97sВремя ответа (макс.)…
107.19sВремя ответа (макс.)…
Время ответа (суммарно)
487.83sВремя ответа (суммарно)…
255.39sВремя ответа (суммарно)…
Параметры
~700B всего (~72B активных)
744B всего (40B активных)
Доступность
Закрытая модель
Открытый исходный код
Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.
Генерация showcase моделей
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#275 KAT-Coder-Pro V2.5
high
Стоимость
$0.009
Время
26.4s
Токены
3,117 tok
#274 GLM 5.1
none
Reached the allocated time limit (300 seconds) without receiving showcase output.
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)1.52sВремя ответа (макс.)1.52sВремя ответа (суммарно)1.52sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)107.19sВремя ответа (макс.)107.19sВремя ответа (суммарно)107.19sТест считается полностью пройденным, только если все его прогоны успешны.…
8.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)3.17sВремя ответа (макс.)4.99sВремя ответа (суммарно)12.67sТест считается полностью пройденным, только если все его прогоны успешны.…
6.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
25.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 4Время ответа (среднее)2.11sВремя ответа (макс.)3.94sВремя ответа (суммарно)8.46sТест считается полностью пройденным, только если все его прогоны успешны.…
7.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
44.4%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)22.00sВремя ответа (макс.)35.74sВремя ответа (суммарно)65.99sТест считается полностью пройденным, только если все его прогоны успешны.…
9.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)4.96sВремя ответа (макс.)9.79sВремя ответа (суммарно)14.89sТест считается полностью пройденным, только если все его прогоны успешны.…
5.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Недопустимый вызов инструмента: 1Время ответа (среднее)106.70sВремя ответа (макс.)199.97sВремя ответа (суммарно)213.41sТест считается полностью пройденным, только если все его прогоны успешны.…
1.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Недопустимый вызов инструмента: 1Нет ответа: 1Время ответа (среднее)46.88sВремя ответа (макс.)61.20sВремя ответа (суммарно)93.77sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.13sВремя ответа (макс.)4.56sВремя ответа (суммарно)8.26sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)1.08sВремя ответа (макс.)1.62sВремя ответа (суммарно)2.15sТест считается полностью пройденным, только если все его прогоны успешны.…
4.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
22.2%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)44.66sВремя ответа (макс.)95.65sВремя ответа (суммарно)133.99sТест считается полностью пройденным, только если все его прогоны успешны.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
44.4%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)2.27sВремя ответа (макс.)3.99sВремя ответа (суммарно)6.80sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)3.27sВремя ответа (макс.)3.27sВремя ответа (суммарно)3.27sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)790msВремя ответа (макс.)790msВремя ответа (суммарно)790msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.67sВремя ответа (макс.)2.87sВремя ответа (суммарно)5.33sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)1.98sВремя ответа (макс.)2.28sВремя ответа (суммарно)3.97sТест считается полностью пройденным, только если все его прогоны успешны.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
88.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)3.38sВремя ответа (макс.)4.30sВремя ответа (суммарно)10.13sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)1.45sВремя ответа (макс.)2.09sВремя ответа (суммарно)4.36sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)28.04sВремя ответа (макс.)28.04sВремя ответа (суммарно)28.04sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)10.68sВремя ответа (макс.)10.68sВремя ответа (суммарно)10.68sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)5.22sВремя ответа (макс.)5.22sВремя ответа (суммарно)5.22sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)2.34sВремя ответа (макс.)2.34sВремя ответа (суммарно)2.34sТест считается полностью пройденным, только если все его прогоны успешны.…