AI BENCHY Compare

Google: Gemini 3.5 Flash vs Kwaipilot: KAT-Coder-Pro V2.5

Сводка

Gemini 3.5 Flash (high) лидирует по среднему баллу: 9.8 vs 7.5. KAT-Coder-Pro V2.5 (medium) имеет более низкую стоимость benchmark: $0.275 vs $1.115. Gemini 3.5 Flash (high) быстрее: 8.84s vs 12.95s, с долей успешных попыток 96.8% vs 65.1%.

Рекомендуемая модельGemini 3.5 Flash (high)У него самый высокий балл в этом сравнении (9.8) и лучший общий баланс стоимости и времени ответа среди всех 2 моделей.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-14

Метрика	Gemini 3.5 Flash Gemini 3.5 Flash high Релиз: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium Релиз: 2026-07-14

Метрика	Gemini 3.5 Flash Gemini 3.5 Flash high Релиз: 2026-05-19	KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium Релиз: 2026-07-14
Оценка	9.8	7.5
Ранг	#1	#60
Надежность	10.0	10.0
Стабильность	9.6	7.7
Тестов верно
Доля успешных попыток	96.8%	65.1%
Нестабильные тесты	1	6
Всего запусков	63	63
Стоимость за результат	5.575	2.498
Общая стоимость	$1.115	$0.275
Цена входа	$1.500 / 1M	$0.740 / 1M
Цена выхода	$9.000 / 1M	$2.960 / 1M
Общее число входных токенов	37,594	42,750
Выходные токены	1,975	2,098
Токены рассуждений	115,638	80,027
Время ответа (среднее)	8.84s	12.95s
Время ответа (макс.)	34.82s	81.45s
Время ответа (суммарно)	185.57s	271.92s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#1 Gemini 3.5 Flash

high

Стоимость: $0.208
Время: 118.2s
Токены: 23,158 tok

#60 KAT-Coder-Pro V2.5

medium

Стоимость: $0.009
Время: 25.6s
Токены: 2,939 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.57s	492	174	4,997
KAT-Coder-Pro V2.5	8.2	7.9	83.3%	1		3.90s	672	208	3,868

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.96s	8,118	456	47,129
KAT-Coder-Pro V2.5	7.8	10.0	66.7%	0		33.10s	7,893	416	33,658

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.37s	12,873	351	16,323
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		14.50s	15,132	363	3,367

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		6.43s	7,548	279	8,466
KAT-Coder-Pro V2.5	7.3	5.9	83.3%	1		4.70s	7,776	275	2,122

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	7.6	7.2	77.8%	1		14.09s	633	12	24,721
KAT-Coder-Pro V2.5	2.9	7.2	11.1%	1		29.03s	771	36	29,584

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.63s	486	115	1,650
KAT-Coder-Pro V2.5	4.7	3.1	33.3%	1		2.35s	516	92	381

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.35s	615	70	3,799
KAT-Coder-Pro V2.5	9.9	10.0	100.0%	0		2.58s	699	83	971

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.23s	558	241	4,940
KAT-Coder-Pro V2.5	5.9	4.5	66.7%	2		3.20s	696	325	1,867

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	9.8	10.0	100.0%	0		4.96s	6,115	265	1,608
KAT-Coder-Pro V2.5	10.0	10.0	100.0%	0		19.02s	8,391	282	1,010

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.94s	156	12	2,005
KAT-Coder-Pro V2.5	3.0	10.0	0.0%	0		9.87s	204	18	3,199

Быстрое сравнение

Сменить пару сравнения