AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

Сводка

Сравнение benchmark Claude Opus 4.8 vs Step 3.7 Flash: Step 3.7 Flash лидирует по среднему баллу: 8.5 vs 7.7. Step 3.7 Flash имеет более низкую стоимость benchmark: $0.376 vs $1.270. Claude Opus 4.8 быстрее: 10.83s vs 20.35s, с долей успешных попыток 79.4% vs 73.0%.

Рекомендуемая модель: Step 3.7 Flash - Здесь у него лучший балл (8.5), при этом он примерно в 3.4 раза дешевле, чем Claude Opus 4.8.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-02

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash medium Релиз: 2026-05-29

Метрика	Claude Opus 4.8 Claude Opus 4.8 low Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash medium Релиз: 2026-05-29
Оценка	7.7	8.5
Ранг	#38	#20
Надежность	10.0	9.9
Стабильность	8.8	9.3
Тестов верно
Доля успешных попыток	79.4%	73.0%
Нестабильные тесты	3	2
Всего запусков	63	61
Стоимость за результат	8.466	2.686
Общая стоимость	$1.270	$0.376
Цена входа	$5.000 / 1M	$0.200 / 1M
Цена выхода	$25.000 / 1M	$1.150 / 1M
Общее число входных токенов	60,946	39,981
Выходные токены	31,771	319,958
Токены рассуждений	6,831	0
Время ответа (среднее)	10.83s	20.35s
Время ответа (макс.)	127.97s	113.98s
Время ответа (суммарно)	227.39s	427.42s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#38 Claude Opus 4.8

low

Стоимость: $0.031
Время: 14.1s
Токены: 1,345 tok

#20 Step 3.7 Flash

medium

Стоимость: $0.006
Время: 46.2s
Токены: 4,466 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Step 3.7 Flash	8.7	7.9	91.7%	1		9.65s	756	32,185	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Step 3.7 Flash	8.8	7.8	88.9%	1		27.42s	7,437	44,797	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		20.84s	23,500	2,216	1,081
Step 3.7 Flash	10.0	10.0	100.0%	0		9.06s	13,683	7,106	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.75s	7,398	3,020	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	10.0	33.3%	0		45.53s	975	23,311	3,908
Step 3.7 Flash	7.7	10.0	66.7%	0		48.27s	708	70,347	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Step 3.7 Flash	4.0	10.0	0.0%	0		6.85s	525	3,987	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Step 3.7 Flash	9.8	10.0	100.0%	0		1.83s	735	2,166	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Step 3.7 Flash	5.7	9.9	33.3%	0		6.19s	756	15,071	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Step 3.7 Flash	10.0	10.0	100.0%	0		4.16s	7,746	2,115	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Step 3.7 Flash	3.0	10.0	0.0%	0		113.98s	237	139,164	0

Быстрое сравнение

Сменить пару сравнения