AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs StepFun: Step 3.7 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-05-29

Метрика	Claude Opus 4.8 Claude Opus 4.8 none Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29

Метрика	Claude Opus 4.8 Claude Opus 4.8 none Релиз: 2026-05-28	Step 3.7 Flash Step 3.7 Flash high Релиз: 2026-05-29
Оценка	7.3	7.1
Ранг	#65	#74
Надежность	10.0	10.0
Стабильность	9.2	8.2
Тестов верно
Доля успешных попыток	65.0%	65.8%
Нестабильные тесты	2	4
Всего запусков	60	60
Стоимость за результат	4.324	8.723
Общая стоимость	$0.519	$0.960
Цена входа	$5.000 / 1M	$0.200 / 1M
Цена выхода	$25.000 / 1M	$1.150 / 1M
Выходные токены	8,098	828,084
Токены рассуждений	0	0
Время ответа (среднее)	3.51s	49.43s
Время ответа (макс.)	17.73s	192.75s
Время ответа (суммарно)	70.19s	988.58s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.5	10.0	50.0%	0		3.40s	1,472	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.40s	42,656	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	6.8	10.0	50.0%	0		3.59s	1,323	0
Step 3.7 Flash	3.6	4.6	25.0%	1		126.82s	164,069	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.5	10.0	100.0%	0		17.73s	3,259	0
Step 3.7 Flash	10.0	10.0	100.0%	0		13.01s	8,802	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	7.3	5.8	83.3%	1		1.77s	308	0
Step 3.7 Flash	10.0	10.0	100.0%	0		14.72s	23,113	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	5.3	7.2	44.4%	1		1.66s	61	0
Step 3.7 Flash	4.1	4.4	44.5%	2		149.64s	410,502	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		3.48s	230	0
Step 3.7 Flash	5.5	10.0	0.0%	0		4.17s	2,862	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	9.9	10.0	100.0%	0		1.37s	95	0
Step 3.7 Flash	9.8	10.0	100.0%	0		1.52s	2,010	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	7.7	10.0	66.7%	0		2.74s	783	0
Step 3.7 Flash	5.3	7.2	44.4%	1		10.22s	25,422	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	10.0	10.0	100.0%	0		5.35s	355	0
Step 3.7 Flash	10.0	10.0	100.0%	0		2.79s	1,172	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Opus 4.8	3.0	10.0	0.0%	0		3.41s	212	0
Step 3.7 Flash	3.0	10.0	0.0%	0		149.34s	147,476	0

Быстрое сравнение

Сменить пару сравнения

Claude Opus 4.8nonevsDeepSeek V3.2medium Claude Opus 4.8nonevsQwen3.5-35B-A3Bmedium GPT-5 MinimediumvsStep 3.7 Flashhigh Claude Opus 4.8nonevsRing-2.6-1Tmedium GPT-5.4 NanomediumvsStep 3.7 Flashhigh Claude Opus 4.8nonevsGPT-5.4 Minimedium Seed-2.0-MinimediumvsStep 3.7 Flashhigh Claude Opus 4.8nonevsGPT-5.2medium Qwen3.6 Max PreviewnonevsStep 3.7 Flashhigh Claude Opus 4.6mediumvsStep 3.7 Flashhigh Claude Opus 4.8nonevsGLM 5V Turbomedium Step 3.7 FlashhighvsMiMo-V2-Flashmedium