AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.5 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-03

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 none Релиз: 2026-02-17	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 none Релиз: 2026-02-17	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01
Оценка	7.0	7.4
Ранг	#72	#55
Надежность	10.0	10.0
Стабильность	9.7	9.4
Тестов верно
Доля успешных попыток	58.3%	59.7%
Нестабильные тесты	1	1
Всего запусков	60	57
Стоимость за результат	2.782	0.133
Общая стоимость	$0.306	$0.062
Цена входа	$3.000 / 1M	$0.090 / 1M
Цена выхода	$15.000 / 1M	$0.300 / 1M
Общее число входных токенов	54,721	33,555
Выходные токены	9,450	90,478
Токены рассуждений	0	173,544
Время ответа (среднее)	5.27s	43.20s
Время ответа (макс.)	23.84s	170.45s
Время ответа (суммарно)	68.50s	561.54s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Step 3.5 Flash	10.0	10.0	100.0%	0		40.57s	694	20,391	24,176

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.8	10.0	50.0%	0		6.73s	5,357	2,112	0
Step 3.5 Flash	3.5	7.8	0.0%	0		62.83s	1,335	12,098	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	9.5	10.0	100.0%	0		23.84s	26,024	3,766	0
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	13,638	1,176	12,984

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	7,368	600	13,886

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	673	45,350	90,436

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Step 3.5 Flash	5.5	10.0	0.0%	0		22.39s	509	240	3,506

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Step 3.5 Flash	8.3	10.0	50.0%	0		4.78s	705	2,364	3,521

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Step 3.5 Flash	5.3	10.0	33.3%	0		7.22s	711	5,630	10,861

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	7,701	275	3,802

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Step 3.5 Flash	3.0	10.0	0.0%	0		108.45s	221	2,354	10,372

Быстрое сравнение

Сменить пару сравнения

Claude Sonnet 4.6nonevsGrok 4.20medium GPT-5.3 ChatnonevsStep 3.5 Flashmedium Claude Sonnet 4.6nonevsSeed-2.0-Minimedium Claude Sonnet 4.6nonevsRing-2.6-1Tmedium Claude Sonnet 4.6nonevsMiMo-V2-Flashmedium Gemini 3.1 Flash LitelowvsStep 3.5 Flashmedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium Claude Sonnet 4.6nonevsMimo V2 Omnimedium Claude Opus 4.8nonevsStep 3.5 Flashmedium Claude Sonnet 4.6nonevsGPT-5 Minimedium Claude Sonnet 4.6nonevsMiniMax M3medium Claude Sonnet 4.6nonevsStep 3.7 Flashhigh