AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.5 Flash

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-04-16

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Релиз: 2026-02-17	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01

Метрика	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Релиз: 2026-02-17	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01
Оценка	8.0	7.9
Ранг	#26	#30
Стабильность	9.5	9.1
Тестов верно
Доля успешных попыток	74.1%	70.6%
Нестабильные тесты	1	2
Всего запусков	54	49
Стоимость за результат	8.930	0.000
Общая стоимость	$1.161	$0.000
???? ?????	$3.000 / 1M	$0.100 / 1M
???? ??????	$15.000 / 1M	$0.300 / 1M
Выходные токены	42,068	71,904
Токены рассуждений	26,784	155,607
Время ответа (среднее)	12.66s	26.78s
Время ответа (макс.)	46.35s	170.45s
Время ответа (суммарно)	126.62s	294.58s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	1,046	1,093
Step 3.5 Flash	10.0	10.0	100.0%	0		13.56s	14,376	17,668

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		35.76s	6,894	2,097
Step 3.5 Flash	-	-	-	-	-	-	-	-

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	5,871	3,962
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	1,176	12,984

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	649	742
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	600	13,886

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	25,790	16,919
Step 3.5 Flash	5.3	7.2	44.4%	1		170.45s	45,350	90,436

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	256	433
Step 3.5 Flash	5.5	10.0	0.0%	0		6.54s	2,214	2,584

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	318	552
Step 3.5 Flash	8.5	6.8	83.3%	1		4.98s	2,284	3,412

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.80s	589	635
Step 3.5 Flash	5.3	10.0	33.3%	0		7.72s	5,629	10,835

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	655	351
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	275	3,802

Быстрое сравнение

Сменить пару сравнения

Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 Flashmedium GPT-5.2 ChatnonevsStep 3.5 Flashmedium Claude Sonnet 4.6mediumvsGemini 3.1 Flash Lite Previewlow Claude Sonnet 4.6mediumvsGemini 3 Flash Previewnone Claude Sonnet 4.6mediumvsGPT-5.2 Chatnone Claude Sonnet 4.6mediumvsGemini 3.1 Flash Lite Previewnone Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 Flashmedium GPT-5.3 ChatnonevsStep 3.5 Flashmedium Gemini 3 Flash PreviewnonevsStep 3.5 Flashmedium Claude Sonnet 4.6mediumvsGPT-5.3 Chatnone Claude Sonnet 4.6nonevsStep 3.5 Flashmedium Claude Sonnet 4.6mediumvsGemini 3 Flash Previewlow