Kwaipilot: KAT-Coder-Air V2.5 vs Mistral: Mistral Small 4

KAT-Coder-Air V2.5 (high) лидирует по среднему баллу: 5.6 vs 5.1. Mistral Small 4 имеет более низкую стоимость benchmark: $0.022 vs $0.077. Mistral Small 4 быстрее: 1.20s vs 15.90s, с долей успешных попыток 43.9% vs 25.8%.

Рекомендуемая модельMistral Small 4Его балл близок к лучшему здесь (5.1 против 5.6), при этом он примерно в 3.6 раза дешевле, чем KAT-Coder-Air V2.5 (high).

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-18

Метрика	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high Релиз: 2026-07-14	Mistral Small 4 Mistral Small 4 none Релиз: 2026-03-16

Метрика	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 high Релиз: 2026-07-14	Mistral Small 4 Mistral Small 4 none Релиз: 2026-03-16
Оценка	5.6	5.1
Ранг	#140	#161
Надежность	9.9	10.0
Стабильность	7.7	9.6
Тестов верно
Доля успешных попыток	43.9%	25.8%
Нестабильные тесты	6	1
Всего запусков	66	66
Стоимость за результат	1.097	0.432
Общая стоимость	$0.077	$0.022
Цена входа	$0.150 / 1M	$0.150 / 1M
Цена выхода	$0.600 / 1M	$0.600 / 1M
Общее число входных токенов	50,470	104,708
Выходные токены	3,957	9,812
Токены рассуждений	111,374	0
Время ответа (среднее)	15.90s	1.20s
Время ответа (макс.)	118.35s	13.16s
Время ответа (суммарно)	349.71s	26.38s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#140 KAT-Coder-Air V2.5

high

Неверный SVG

Стоимость: $0.000
Время: 300.0s
Токены: 0 tok

#161 Mistral Small 4

none

Стоимость: $0.002
Время: 10.4s
Токены: 2,370 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	6.9	5.8	75.0%	2		2.49s	615	204	1,290
Mistral Small 4	3.4	7.9	16.7%	1		395ms	708	182	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	4.3	7.3	11.1%	1		39.07s	6,948	1,166	55,883
Mistral Small 4	3.7	9.7	0.0%	0		901ms	7,636	619	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		74.48s	23,854	485	28,559
Mistral Small 4	3.0	10.0	0.0%	0		7.44s	79,039	8,107	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.59s	7,776	284	2,140
Mistral Small 4	10.0	10.0	100.0%	0		822ms	7,914	261	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	2.9	7.2	11.1%	1		7.47s	771	914	8,602
Mistral Small 4	5.3	10.0	33.3%	0		367ms	798	28	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	5.1	10.0	0.0%	0		7.10s	516	179	539
Mistral Small 4	4.0	10.0	0.0%	0		729ms	519	205	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	9.8	10.0	100.0%	0		1.51s	699	90	675
Mistral Small 4	6.5	10.0	50.0%	0		380ms	729	69	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	3.5	4.4	33.3%	2		2.47s	696	285	1,576
Mistral Small 4	3.1	9.9	0.0%	0		399ms	735	111	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	330	1,082
Mistral Small 4	10.0	10.0	100.0%	0		1.40s	6,420	213	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		21.72s	204	20	11,028
Mistral Small 4	3.0	10.0	0.0%	0		397ms	210	17	0

Быстрое сравнение

Сменить пару сравнения