AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

Сводка

Сравнение benchmark Claude Opus 4.8 vs Step 3.7 Flash: Claude Opus 4.8 лидирует по среднему баллу: 8.8 vs 7.7. Step 3.7 Flash имеет более низкую стоимость benchmark: $0.341 vs $1.107. Claude Opus 4.8 быстрее: 9.66s vs 15.74s, с долей успешных попыток 84.1% vs 68.3%.

Рекомендуемая модель: Step 3.7 Flash - Он дает лучший общий компромисс: конкурентный балл (7.7), ниже стоимость, чем у Claude Opus 4.8, и сбалансированное время ответа.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-17

Метрика	Claude Opus 4.8 Claude Opus 4.8 medium Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29

Метрика	Claude Opus 4.8 Claude Opus 4.8 medium Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29
Оценка	8.8	7.7
Ранг	#12	#39
Надежность	10.0	10.0
Стабильность	9.6	8.4
Тестов верно
Доля успешных попыток	84.1%	68.3%
Нестабильные тесты	1	4
Всего запусков	63	63
Стоимость за результат	6.512	2.840
Общая стоимость	$1.107	$0.341
Цена входа	$5.000 / 1M	$0.200 / 1M
Цена выхода	$25.000 / 1M	$1.150 / 1M
Общее число входных токенов	61,007	40,101
Выходные токены	26,495	289,325
Токены рассуждений	5,901	0
Время ответа (среднее)	9.66s	15.74s
Время ответа (макс.)	38.03s	124.75s
Время ответа (суммарно)	202.89s	330.63s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#12 Claude Opus 4.8

medium

Cost: $0.057
Time: 23.1s
Tokens: 2,412 tok

#39 Step 3.7 Flash

low

Invalid SVG

Cost: $0.004
Time: 25.3s
Tokens: 3,072 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.95s	834	1,179	478
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	756	10,896	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		15.33s	10,590	9,945	1,381
Step 3.7 Flash	8.2	7.2	88.9%	1		9.46s	7,437	18,685	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		38.03s	23,561	5,260	1,588
Step 3.7 Flash	10.0	10.0	100.0%	0		7.98s	13,683	6,426	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	7.1	5.6	83.3%	1		12.29s	10,503	481	312
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	7,398	2,667	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		14.15s	975	7,477	900
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	828	104,487	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.46s	708	237	0
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	525	4,604	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.32s	909	373	320
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	735	1,857	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.95s	894	791	483
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	756	3,564	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		8.96s	11,775	301	225
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	7,746	1,360	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		6.14s	258	451	214
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	237	134,779	0

Быстрое сравнение

Сменить пару сравнения