Claude Haiku 5.5 (xhigh) vs Gemini 4 Carbon (medium)

Gemini 4 Carbon (medium) лидирует по среднему баллу: 9.2 vs 9.1. Claude Haiku 5.5 (xhigh) имеет более низкую стоимость benchmark: $0.140 vs $1.933. Claude Haiku 5.5 (xhigh) быстрее: 16.58s vs 38.78s, с долей успешных попыток 81.2% vs 95.7%.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-11-13

Сравниваемые модели

Ранг: #51
Общее число выходных токенов: 199,268
Время ответа (среднее): 16.58s
Общая стоимость: $0.140

Ранг: #43
Общее число выходных токенов: 131,948
Время ответа (среднее): 38.78s
Общая стоимость: $1.933

Рекомендуемая модель Claude Haiku 5.5 (xhigh)

Его балл близок к лучшему здесь (9.1 против 9.2), при этом он примерно в 13.9 раза дешевле, чем Gemini 4 Carbon (medium).

Подробное сравнение

Метрика	Claude Haiku 5.5 Claude Haiku 5.5 xhigh Релиз: 2026-10-07	Gemini 4 Carbon Gemini 4 Carbon medium Релиз: 2026-11-12

Метрика	Claude Haiku 5.5 Claude Haiku 5.5 xhigh Релиз: 2026-10-07	Gemini 4 Carbon Gemini 4 Carbon medium Релиз: 2026-11-12
Оценка	9.1	9.2
Ранг	#51	#43
Надежность	10.0	8.6
Стабильность	9.3	8.9
Попытки	69/69	69/69
Тестов верно
Доля успешных попыток	81.2%	95.7%
Нестабильные тесты	2	3
Всего запусков	69	69
Стоимость за результат	0.773	9.662
Общая стоимость	$0.140	$1.933
Цена входа	$0.100 / 1M	$2.000 / 1M
Цена выхода	$0.500 / 1M	$10.000 / 1M
Цена чтения из кэша	$0.010 / 1M	$0.100 / 1M
Цена записи в кэш	$0.125 / 1M	$0.188 / 1M
Общее число входных токенов	394,509	306,396
Выходные токены	10,349	5,746
Токены рассуждений	188,919	126,202
Время ответа (среднее)	16.58s	38.78s
Время ответа (макс.)	92.74s	206.61s
Время ответа (суммарно)	381.40s	892.02s
Параметры	~50B	~1.2T всего (~20B активных)
Доступность	Закрытая модель	Закрытая модель

Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.

Генерация showcase моделей

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#51 Claude Haiku 5.5

xhigh

Стоимость: $0.021
Время: 189.0s
Токены: 41,343 tok

#43 Gemini 4 Carbon

medium

Стоимость: $0.203
Время: 336.6s
Токены: 20,353 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Агентные задачи	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		62.72s	257,002	2,786	14,500
Gemini 4 Carbon	10.0	10.0	100.0%	0		155.77s	187,693	1,085	21,533

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		2.88s	858	367	3,017
Gemini 4 Carbon	10.0	10.0	100.0%	0		6.33s	918	173	1,589

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		13.13s	10,608	504	26,396
Gemini 4 Carbon	10.0	10.0	100.0%	0		29.67s	8,448	487	17,950

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		38.95s	99,968	4,903	45,341
Gemini 4 Carbon	4.7	1.6	66.7%	2		139.49s	87,073	2,878	36,513

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		3.65s	10,515	312	2,656
Gemini 4 Carbon	10.0	10.0	100.0%	0		6.42s	8,025	338	998

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	5.3	7.2	44.4%	1		47.83s	990	65	83,800
Gemini 4 Carbon	8.2	7.2	88.9%	1		82.49s	963	48	40,275

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	5.0	10.0	0.0%	0		9.80s	714	155	4,341
Gemini 4 Carbon	10.0	10.0	100.0%	0		11.27s	591	110	1,164

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		3.34s	921	100	1,775
Gemini 4 Carbon	10.0	10.0	100.0%	0		4.80s	825	96	414

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	7.6	7.2	77.8%	1		3.80s	912	563	4,066
Gemini 4 Carbon	10.0	10.0	100.0%	0		8.73s	882	216	1,842

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	10.0	10.0	100.0%	0		6.42s	11,757	354	1,285
Gemini 4 Carbon	10.0	10.0	100.0%	0		25.10s	10,717	291	2,769

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Haiku 5.5	3.0	10.0	0.0%	0		4.79s	264	240	1,742
Gemini 4 Carbon	10.0	10.0	100.0%	0		10.47s	261	24	1,155

Сменить пару сравнения