AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Google: Gemini 3.5 Flash

Сводка

Сравнение benchmark Claude Opus 4.8 vs Gemini 3.5 Flash (high): Gemini 3.5 Flash (high) лидирует по среднему баллу: 9.8 vs 7.2. Claude Opus 4.8 имеет более низкую стоимость benchmark: $0.539 vs $1.115. Claude Opus 4.8 быстрее: 3.48s vs 8.84s, с долей успешных попыток 61.9% vs 96.8%.

Рекомендуемая модель: Gemini 3.5 Flash (high) - У него самый высокий балл в этом сравнении (9.8) и лучший общий баланс стоимости и времени ответа среди всех 2 моделей.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-10

Метрика	Claude Opus 4.8 Claude Opus 4.8 none Релиз: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash high Релиз: 2026-05-19

Метрика	Claude Opus 4.8 Claude Opus 4.8 none Релиз: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash high Релиз: 2026-05-19
Оценка	7.2	9.8
Ранг	#70	#1
Надежность	10.0	10.0
Стабильность	9.2	9.6
Тестов верно
Доля успешных попыток	61.9%	96.8%
Нестабильные тесты	2	1
Всего запусков	63	63
Стоимость за результат	4.485	5.575
Общая стоимость	$0.539	$1.115
Цена входа	$5.000 / 1M	$1.500 / 1M
Цена выхода	$25.000 / 1M	$9.000 / 1M
Общее число входных токенов	67,104	37,594
Выходные токены	8,107	1,975
Токены рассуждений	0	115,638
Время ответа (среднее)	3.48s	8.84s
Время ответа (макс.)	17.73s	34.82s
Время ответа (суммарно)	73.00s	185.57s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#70 Claude Opus 4.8

none

Стоимость: $0.053
Время: 22.0s
Токены: 2,253 tok

#1 Gemini 3.5 Flash

high

Стоимость: $0.208
Время: 118.2s
Токены: 23,158 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	834	1,472	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.57s	492	174	4,997

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.5	10.0	33.3%	0		3.29s	10,590	1,332	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.96s	8,118	456	47,129

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	29,658	3,259	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		22.37s	12,873	351	16,323

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	10,503	308	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		6.43s	7,548	279	8,466

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	7.2	44.4%	1		1.70s	975	61	0
Gemini 3.5 Flash	7.6	7.2	77.8%	1		14.09s	633	12	24,721

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	708	230	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.63s	486	115	1,650

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	909	95	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.35s	615	70	3,799

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	894	783	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.23s	558	241	4,940

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	11,775	355	0
Gemini 3.5 Flash	9.8	10.0	100.0%	0		4.96s	6,115	265	1,608

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	258	212	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.94s	156	12	2,005

Быстрое сравнение

Сменить пару сравнения