Gemini 3.5 Flash vs KAT-Coder-Pro V2.5 (medium)

KAT-Coder-Pro V2.5 (medium) лидирует по среднему баллу: 6.2 vs 6.1. KAT-Coder-Pro V2.5 (medium) имеет более низкую стоимость benchmark: $0.669 vs $1.752. Gemini 3.5 Flash быстрее: 14.13s vs 23.94s, с долей успешных попыток 68.1% vs 62.3%.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-10-19

Сравниваемые модели

Ранг: #273
Общее число выходных токенов: 153,595
Время ответа (среднее): 14.13s
Общая стоимость: $1.752

Ранг: #268
Общее число выходных токенов: 139,375
Время ответа (среднее): 23.94s
Общая стоимость: $0.669

Рекомендуемая модель KAT-Coder-Pro V2.5 (medium)

Здесь у него лучший балл (6.2), при этом он примерно в 2.6 раза дешевле, чем Gemini 3.5 Flash.

Подробное сравнение

Метрика	Gemini 3.5 Flash Gemini 3.5 Flash none Релиз: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium Релиз: 2026-07-14

Метрика	Gemini 3.5 Flash Gemini 3.5 Flash none Релиз: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium Релиз: 2026-07-14
Оценка	6.1	6.2
Ранг	#273	#268
Надежность	10.0	10.0
Стабильность	8.6	7.2
Попытки	69/69	69/69
Тестов верно
Доля успешных попыток	68.1%	62.3%
Нестабильные тесты	4	8
Всего запусков	69	69
Стоимость за результат	12.511	4.342
Общая стоимость	$1.752	$0.669
Цена входа	$1.500 / 1M	$0.740 / 1M
Цена выхода	$9.000 / 1M	$2.960 / 1M
Цена чтения из кэша	$0.150 / 1M	$0.150 / 1M
Цена записи в кэш	$0.084 / 1M	Н/Д
Общее число входных токенов	246,061	87,916
Выходные токены	3,828	7,213
Токены рассуждений	149,767	132,162
Время ответа (среднее)	14.13s	23.94s
Время ответа (макс.)	85.26s	257.00s
Время ответа (суммарно)	268.55s	550.52s
Параметры	~500B всего (~20B активных)	~700B всего (~72B активных)
Доступность	Закрытая модель	Закрытая модель

Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.

Генерация showcase моделей

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#273 Gemini 3.5 Flash

none

Стоимость: $0.225
Время: 125.5s
Токены: 25,004 tok

#268 KAT-Coder-Pro V2.5

medium

Стоимость: $0.009
Время: 25.6s
Токены: 2,939 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Агентные задачи	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	2.8	1.6	33.3%	1		85.26s	232,209	2,528	31,967
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		3.38s	0	0	0

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.53s	492	174	4,927
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	8.8	7.8	88.9%	1		34.69s	8,122	456	75,471
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0	0
KAT-Coder-Pro V2.5	6.4	5.8	66.7%	1		135.75s	60,289	5,478	51,591

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	6.5	10.0	50.0%	0		8.10s	2,781	177	5,718
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	5.3	7.2	44.4%	1		12.18s	642	12	19,480
KAT-Coder-Pro V2.5	2.9	4.4	22.2%	2		35.11s	780	36	33,495

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.46s	486	120	1,500
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	9.8	10.0	100.0%	0		3.38s	615	70	3,858
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.13s	558	279	4,361
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	3.0	10.0	0.0%	0		0ms	0	0	0
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	2.8	1.6	33.3%	1		4.87s	156	12	2,485
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

Сменить пару сравнения

KAT-Coder-Pro V2.5mediumvsSpace Bunny Alphaxhigh DeepSeek V4 Flash 0731nonevsKAT-Coder-Pro V2.5medium Gemini 3.5 FlashnonevsBeam 1.0 501B A23Bhigh Trinity Large ThinkingmediumvsGemini 3.5 Flashnone Gemini 3.1 Flash Lite PreviewnonevsKAT-Coder-Pro V2.5medium Apodex 1.1 MinilowБесплатно доступноvsGemini 3.5 Flashnone Gemini 3.5 FlashnonevsStep 5 Previewmedium DeepSeek V4 Flash 0423nonevsKAT-Coder-Pro V2.5medium Claude Fable 5.1lowvsKAT-Coder-Pro V2.5medium Gemini 3.5 FlashnonevsGranite 4.2 8Bmedium Claude Fable 5.1lowvsGemini 3.5 Flashnone Trinity Large ThinkinglowvsKAT-Coder-Pro V2.5medium