AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.7 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-05-29

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Релиз: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Релиз: 2026-02-17	Step 3.7 Flash Step 3.7 Flash low Релиз: 2026-05-29
Оценка	7.6	7.4
Ранг	#53	#60
Надежность	10.0	10.0
Стабильность	9.2	8.7
Тестов верно
Доля успешных попыток	68.3%	68.3%
Нестабильные тесты	2	3
Всего запусков	60	60
Стоимость за результат	10.229	2.796
Общая стоимость	$1.330	$0.336
Цена входа	$3.000 / 1M	$0.200 / 1M
Цена выхода	$15.000 / 1M	$1.150 / 1M
Выходные токены	49,891	285,209
Токены рассуждений	29,565	0
Время ответа (среднее)	15.81s	16.06s
Время ответа (макс.)	46.35s	124.75s
Время ответа (суммарно)	189.71s	321.11s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	1,046	1,093
Step 3.7 Flash	8.7	7.9	91.7%	1		4.02s	10,896	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.9	6.0	66.7%	1		33.87s	11,277	3,281
Step 3.7 Flash	10.0	10.0	100.0%	0		9.43s	14,569	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	5,871	3,962
Step 3.7 Flash	10.0	10.0	100.0%	0		7.98s	6,426	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	649	742
Step 3.7 Flash	7.3	5.8	83.3%	1		2.29s	2,667	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	25,790	16,919
Step 3.7 Flash	5.3	7.2	44.4%	1		43.31s	104,487	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	256	433
Step 3.7 Flash	3.4	9.3	0.0%	0		7.00s	4,604	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	318	552
Step 3.7 Flash	9.8	10.0	100.0%	0		1.58s	1,857	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		5.31s	592	646
Step 3.7 Flash	5.5	9.9	33.3%	0		1.84s	3,564	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	655	351
Step 3.7 Flash	10.0	10.0	100.0%	0		3.25s	1,360	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	3.0	10.0	0.0%	0		30.09s	3,437	1,586
Step 3.7 Flash	3.0	10.0	0.0%	0		124.75s	134,779	0

Быстрое сравнение

Сменить пару сравнения

Kimi K2.6mediumБесплатно доступноvsStep 3.7 Flashlow Step 3.7 FlashlowvsMiMo-V2.5medium GPT-5.3 ChatnonevsStep 3.7 Flashlow Step 3.7 FlashlowvsGLM 5V Turbomedium Step 3.7 FlashlowvsGLM 5.1medium GPT-5.2mediumvsStep 3.7 Flashlow GPT-5.4 MinimediumvsStep 3.7 Flashlow Claude Sonnet 4.6mediumvsGemini 3.1 Flash Lite Previewlow Claude Sonnet 4.6mediumvsDeepSeek V4 FlashhighБесплатно доступно Gemini 3.1 Flash Lite PreviewnonevsStep 3.7 Flashlow Claude Sonnet 4.6mediumvsGemini 3 Flash Previewnone Claude Sonnet 4.6mediumvsGemini 3.1 Flash Lite Previewnone