Seed-2.0-Code (high) vs KAT-Coder-Pro V2.5 (medium)
Средний балл практически равен: 6.9 vs 6.9. KAT-Coder-Pro V2.5 (medium) имеет более низкую стоимость benchmark: $0.478 vs $1.273. KAT-Coder-Pro V2.5 (medium) быстрее: 24.87s vs 124.18s, с долей успешных попыток 63.6% vs 65.2%.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в:
2026-09-24
Сравниваемые модели
Ранг
#171
Общее число выходных токенов
410,575
Время ответа (среднее)
124.18s
Общая стоимость
$1.273
Ранг
#168
Общее число выходных токенов
139,375
Время ответа (среднее)
24.87s
Общая стоимость
$0.478
Рекомендуемая модельKAT-Coder-Pro V2.5 (medium)
Здесь у него лучший балл (6.9), при этом он примерно в 2.7 раза дешевле, чем Seed-2.0-Code (high).
8.6Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
7.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
7.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Попытки
66/66
66/66
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 5Неверный ответ: 4Не соблюдены инструкции: 1Нет ответа: 1Время ответа (среднее)124.18sВремя ответа (макс.)675.30sВремя ответа (суммарно)2732.03sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 9Ошибка API: 1Не соблюдены инструкции: 1Время ответа (среднее)24.87sВремя ответа (макс.)257.00sВремя ответа (суммарно)547.14sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
63.6%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
65.2%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
5Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
8Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
66Всего запусков…
66Всего запусков…
Стоимость за результат
11.571
4.342
Общая стоимость
$1.273
$0.478
Цена входа
$0.500 / 1MЦена входа…
$0.740 / 1MЦена входа…
Цена выхода
$3.000 / 1MЦена выхода…
$2.960 / 1MЦена выхода…
Общее число входных токенов
81,970Общее число входных токенов…
87,916Общее число входных токенов…
Выходные токены
7,186Выходные токены…
7,213Выходные токены…
Токены рассуждений
403,389Токены рассуждений…
132,162Токены рассуждений…
Время ответа (среднее)
124.18sВремя ответа (среднее)…
24.87sВремя ответа (среднее)…
Время ответа (макс.)
675.30sВремя ответа (макс.)…
257.00sВремя ответа (макс.)…
Время ответа (суммарно)
2732.03sВремя ответа (суммарно)…
547.14sВремя ответа (суммарно)…
Параметры
~200B всего (~20B активных)
~700B всего (~72B активных)
Доступность
Закрытая модель
Закрытая модель
Генерация showcase моделей
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
75.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)35.07sВремя ответа (макс.)82.43sВремя ответа (суммарно)140.28sТест считается полностью пройденным, только если все его прогоны успешны.…
7.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)3.90sВремя ответа (макс.)6.99sВремя ответа (суммарно)15.61sТест считается полностью пройденным, только если все его прогоны успешны.…
6.5Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
55.6%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Не соблюдены инструкции: 1Время ответа (среднее)266.74sВремя ответа (макс.)443.32sВремя ответа (суммарно)800.23sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)33.10sВремя ответа (макс.)71.91sВремя ответа (суммарно)99.31sТест считается полностью пройденным, только если все его прогоны успешны.…
5.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)144.87sВремя ответа (макс.)236.85sВремя ответа (суммарно)289.75sТест считается полностью пройденным, только если все его прогоны успешны.…
5.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)135.75sВремя ответа (макс.)257.00sВремя ответа (суммарно)271.50sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)24.28sВремя ответа (макс.)34.05sВремя ответа (суммарно)48.55sТест считается полностью пройденным, только если все его прогоны успешны.…
5.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)4.70sВремя ответа (макс.)5.34sВремя ответа (суммарно)9.39sТест считается полностью пройденным, только если все его прогоны успешны.…
4.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Нет ответа: 1Время ответа (среднее)419.73sВремя ответа (макс.)675.30sВремя ответа (суммарно)1259.19sТест считается полностью пройденным, только если все его прогоны успешны.…
4.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
22.2%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)35.11sВремя ответа (макс.)81.45sВремя ответа (суммарно)105.33sТест считается полностью пройденным, только если все его прогоны успешны.…
7.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)36.45sВремя ответа (макс.)36.45sВремя ответа (суммарно)36.45sТест считается полностью пройденным, только если все его прогоны успешны.…
3.1Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)2.35sВремя ответа (макс.)2.35sВремя ответа (суммарно)2.35sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)11.26sВремя ответа (макс.)19.26sВремя ответа (суммарно)22.53sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.58sВремя ответа (макс.)2.93sВремя ответа (суммарно)5.16sТест считается полностью пройденным, только если все его прогоны успешны.…
9.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)15.91sВремя ответа (макс.)17.11sВремя ответа (суммарно)47.73sТест считается полностью пройденным, только если все его прогоны успешны.…
4.5Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)3.20sВремя ответа (макс.)3.85sВремя ответа (суммарно)9.60sТест считается полностью пройденным, только если все его прогоны успешны.…
1.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)35.09sВремя ответа (макс.)35.09sВремя ответа (суммарно)35.09sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)19.02sВремя ответа (макс.)19.02sВремя ответа (суммарно)19.02sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)52.23sВремя ответа (макс.)52.23sВремя ответа (суммарно)52.23sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)9.87sВремя ответа (макс.)9.87sВремя ответа (суммарно)9.87sТест считается полностью пройденным, только если все его прогоны успешны.…