AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Inception: Mercury 2

Сводка

Сравнение benchmark Claude Opus 4.8 (low) vs Mercury 2 (medium): Claude Opus 4.8 (low) лидирует по среднему баллу: 7.7 vs 7.5. Mercury 2 (medium) имеет более низкую стоимость benchmark: $0.058 vs $1.270. Mercury 2 (medium) быстрее: 2.24s vs 10.83s, с долей успешных попыток 79.4% vs 54.0%.

Рекомендуемая модель: Mercury 2 (medium) - Его балл близок к лучшему здесь (7.5 против 7.7), при этом он примерно в 22.0 раза дешевле, чем Claude Opus 4.8 (low).

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-09

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Mercury 2 Mercury 2 medium Релиз: 2026-02-24

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Mercury 2 Mercury 2 medium Релиз: 2026-02-24
Оценка	7.7	7.5
Ранг	#45	#56
Надежность	10.0	10.0
Стабильность	8.8	8.8
Тестов верно
Доля успешных попыток	79.4%	54.0%
Нестабильные тесты	3	3
Всего запусков	63	63
Стоимость за результат	8.466	0.578
Общая стоимость	$1.270	$0.058
Цена входа	$5.000 / 1M	$0.250 / 1M
Цена выхода	$25.000 / 1M	$0.750 / 1M
Общее число входных токенов	60,946	35,116
Выходные токены	31,771	4,048
Токены рассуждений	6,831	61,219
Время ответа (среднее)	10.83s	2.24s
Время ответа (макс.)	127.97s	14.63s
Время ответа (суммарно)	227.39s	44.72s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#45 Claude Opus 4.8

low

Стоимость: $0.031
Время: 14.1s
Токены: 1,345 tok

#56 Mercury 2

medium

Стоимость: $0.002
Время: 2.1s
Токены: 1,702 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Mercury 2	6.9	9.9	50.0%	0		1.12s	554	2,546	2,609

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Mercury 2	8.2	7.7	77.8%	1		2.04s	7,065	296	11,328

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Mercury 2	10.0	10.0	100.0%	0		3.28s	12,909	268	4,887

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Mercury 2	7.3	5.9	83.3%	1		1.11s	6,234	183	1,656

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Mercury 2	2.9	7.2	11.1%	1		6.48s	695	41	30,754

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Mercury 2	4.8	10.0	0.0%	0		821ms	456	137	542

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Mercury 2	10.0	10.0	100.0%	0		1.07s	340	14	958

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Mercury 2	5.4	10.0	33.3%	0		949ms	601	361	2,781

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Mercury 2	10.0	10.0	100.0%	0		1.89s	6,080	180	1,956

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Mercury 2	3.0	10.0	0.0%	0		2.58s	182	22	3,748

Быстрое сравнение

Сменить пару сравнения