AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Google: Gemini 3.5 Flash

Сводка

Сравнение benchmark Claude Opus 4.8 vs Gemini 3.5 Flash: Gemini 3.5 Flash лидирует по среднему баллу: 9.1 vs 7.7. Gemini 3.5 Flash имеет более низкую стоимость benchmark: $0.582 vs $1.270. Gemini 3.5 Flash быстрее: 4.94s vs 10.83s, с долей успешных попыток 79.4% vs 87.3%.

Рекомендуемая модель: Gemini 3.5 Flash - Здесь у него лучший балл (9.1), при этом он примерно в 2.2 раза дешевле, чем Claude Opus 4.8.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-02

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash medium Релиз: 2026-05-19

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Gemini 3.5 Flash Gemini 3.5 Flash medium Релиз: 2026-05-19
Оценка	7.7	9.1
Ранг	#38	#8
Надежность	10.0	10.0
Стабильность	8.8	9.6
Тестов верно
Доля успешных попыток	79.4%	87.3%
Нестабильные тесты	3	1
Всего запусков	63	63
Стоимость за результат	8.466	3.229
Общая стоимость	$1.270	$0.582
Цена входа	$5.000 / 1M	$1.500 / 1M
Цена выхода	$25.000 / 1M	$9.000 / 1M
Общее число входных токенов	60,946	36,936
Выходные токены	31,771	2,001
Токены рассуждений	6,831	56,408
Время ответа (среднее)	10.83s	4.94s
Время ответа (макс.)	127.97s	18.07s
Время ответа (суммарно)	227.39s	103.79s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

Стоимость: $0.031
Время: 14.1s
Токены: 1,345 tok

#8 Gemini 3.5 Flash

medium

Стоимость: $0.201
Время: 112.9s
Токены: 22,371 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.09s	492	171	3,385

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Gemini 3.5 Flash	7.9	7.5	77.8%	1		12.63s	8,118	461	24,939

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Gemini 3.5 Flash	10.0	10.0	100.0%	0		12.05s	12,873	351	7,807

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		4.07s	7,548	279	3,784

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Gemini 3.5 Flash	7.7	10.0	66.7%	0		5.24s	633	12	8,047

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.52s	486	115	1,144

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Gemini 3.5 Flash	9.9	10.0	100.0%	0		2.70s	615	71	2,855

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Gemini 3.5 Flash	7.7	10.0	66.7%	0		2.38s	558	295	2,747

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Gemini 3.5 Flash	10.0	10.0	100.0%	0		3.81s	5,457	234	455

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Gemini 3.5 Flash	10.0	10.0	100.0%	0		2.75s	156	12	1,245

Быстрое сравнение

Сменить пару сравнения