AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs OpenAI: GPT-5.4

Сводка

Сравнение benchmark Claude Opus 4.8 vs GPT-5.4: GPT-5.4 лидирует по среднему баллу: 8.5 vs 7.7. GPT-5.4 имеет более низкую стоимость benchmark: $1.210 vs $1.270. Claude Opus 4.8 быстрее: 10.83s vs 22.35s, с долей успешных попыток 79.4% vs 76.2%.

Рекомендуемая модель: GPT-5.4 - У него самый высокий балл в этом сравнении (8.5) и лучший общий баланс стоимости и времени ответа среди всех 2 моделей.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-02

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	GPT-5.4 GPT-5.4 medium Релиз: 2026-03-05

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	GPT-5.4 GPT-5.4 medium Релиз: 2026-03-05
Оценка	7.7	8.5
Ранг	#38	#17
Надежность	10.0	10.0
Стабильность	8.8	8.6
Тестов верно
Доля успешных попыток	79.4%	76.2%
Нестабильные тесты	3	4
Всего запусков	63	63
Стоимость за результат	8.466	8.640
Общая стоимость	$1.270	$1.210
Цена входа	$5.000 / 1M	$2.500 / 1M
Цена выхода	$25.000 / 1M	$15.000 / 1M
Общее число входных токенов	60,946	34,108
Выходные токены	31,771	2,242
Токены рассуждений	6,831	72,707
Время ответа (среднее)	10.83s	22.35s
Время ответа (макс.)	127.97s	100.41s
Время ответа (суммарно)	227.39s	469.29s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

Стоимость: $0.031
Время: 14.1s
Токены: 1,345 tok

#17 GPT-5.4

medium

Стоимость: $0.214
Время: 199.6s
Токены: 14,349 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
GPT-5.4	8.3	10.0	75.0%	0		4.11s	606	240	1,511

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
GPT-5.4	8.8	7.8	88.9%	1		44.36s	7,305	433	24,216

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
GPT-5.4	10.0	10.0	100.0%	0		20.57s	11,019	301	3,543

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
GPT-5.4	10.0	10.0	100.0%	0		5.32s	7,140	234	804

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
GPT-5.4	5.3	7.2	44.4%	1		74.27s	619	61	34,748

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
GPT-5.4	4.7	3.1	33.3%	1		4.92s	477	145	321

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
GPT-5.4	10.0	10.0	100.0%	0		3.11s	660	93	897

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
GPT-5.4	8.2	7.2	88.9%	1		9.14s	642	441	3,815

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
GPT-5.4	10.0	10.0	100.0%	0		13.28s	5,445	264	1,031

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
GPT-5.4	3.0	10.0	0.0%	0		13.95s	195	30	1,821

Быстрое сравнение

Сменить пару сравнения