AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Google: Gemini 2.5 Flash

Сводка

Сравнение benchmark Claude Opus 4.8 vs Gemini 2.5 Flash: Gemini 2.5 Flash лидирует по среднему баллу: 8.2 vs 7.7. Gemini 2.5 Flash имеет более низкую стоимость benchmark: $0.379 vs $1.270. Claude Opus 4.8 быстрее: 10.83s vs 15.49s, с долей успешных попыток 79.4% vs 69.8%.

Рекомендуемая модель: Gemini 2.5 Flash - Здесь у него лучший балл (8.2), при этом он примерно в 3.4 раза дешевле, чем Claude Opus 4.8.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-02

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Gemini 2.5 Flash Gemini 2.5 Flash medium Релиз: 2025-06-17

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Gemini 2.5 Flash Gemini 2.5 Flash medium Релиз: 2025-06-17
Оценка	7.7	8.2
Ранг	#38	#24
Надежность	10.0	10.0
Стабильность	8.8	9.6
Тестов верно
Доля успешных попыток	79.4%	69.8%
Нестабильные тесты	3	1
Всего запусков	63	63
Стоимость за результат	8.466	2.701
Общая стоимость	$1.270	$0.379
Цена входа	$5.000 / 1M	$0.300 / 1M
Цена выхода	$25.000 / 1M	$2.500 / 1M
Общее число входных токенов	60,946	34,476
Выходные токены	31,771	1,930
Токены рассуждений	6,831	145,145
Время ответа (среднее)	10.83s	15.49s
Время ответа (макс.)	127.97s	95.48s
Время ответа (суммарно)	227.39s	325.39s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

Стоимость: $0.031
Время: 14.1s
Токены: 1,345 tok

#24 Gemini 2.5 Flash

medium

Неверный SVG

Стоимость: $0.000
Время: 274.0s
Токены: 0 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Gemini 2.5 Flash	8.4	10.0	75.0%	0		6.30s	492	255	10,233

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Gemini 2.5 Flash	7.8	10.0	66.7%	0		41.01s	6,669	543	32,303

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Gemini 2.5 Flash	10.0	10.0	100.0%	0		28.44s	12,522	303	11,922

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Gemini 2.5 Flash	10.0	10.0	100.0%	0		4.06s	7,257	279	2,325

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Gemini 2.5 Flash	5.9	7.2	55.6%	1		37.34s	633	18	80,702

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Gemini 2.5 Flash	4.8	10.0	0.0%	0		4.86s	486	92	1,899

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Gemini 2.5 Flash	9.8	10.0	100.0%	0		2.62s	615	69	1,203

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Gemini 2.5 Flash	7.7	10.0	66.7%	0		3.18s	558	126	2,499

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Gemini 2.5 Flash	10.0	10.0	100.0%	0		6.20s	5,088	234	1,140

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Gemini 2.5 Flash	3.0	10.0	0.0%	0		2.76s	156	11	919

Быстрое сравнение

Сменить пару сравнения