AI BENCHY Compare

StepFun: Step 3.5 Flash vs xAI: Grok 4.20 Beta

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-03-12

Метрика	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01 Бесплатно доступно	Grok 4.20 Beta Grok 4.20 Beta none Релиз: 2026-03-12

Метрика	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01 Бесплатно доступно	Grok 4.20 Beta Grok 4.20 Beta none Релиз: 2026-03-12
Ранг	#14	#52
Средний балл	7.4	4.4
Стабильность	9.1	9.1
Стоимость за результат	0.000	2.214
Общая стоимость	$0.000	$0.089
Тестов верно
Доля успешных попыток	68.8%	33.3%
Нестабильные тесты	2	2
Всего запусков	48	48
Выходные токены	71,452	1,511
Токены рассуждений	155,147	0
Время ответа (среднее)	29.10s	1.22s
Время ответа (макс.)	170.45s	6.48s
Время ответа (суммарно)	290.96s	19.53s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Средний балл vs Время ответа (среднее)

Общее число выходных токенов

Средний балл vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		18.54s	13,924	17,208
Grok 4.20 Beta	3.3	7.9	22.2%	1		562ms	245	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	1,176	12,984
Grok 4.20 Beta	10.0	10.0	0.0%	0		6.48s	282	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	600	13,886
Grok 4.20 Beta	9.9	10.0	100.0%	0		601ms	197	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	4.0	7.2	44.4%	1		170.45s	45,350	90,436
Grok 4.20 Beta	10.0	10.0	0.0%	0		611ms	160	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	6.0	10.0	0.0%	0		6.54s	2,214	2,584
Grok 4.20 Beta	5.0	10.0	0.0%	0		541ms	87	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	9.0	6.8	83.3%	1		4.98s	2,284	3,412
Grok 4.20 Beta	4.5	10.0	0.0%	0		687ms	60	0

Puzzle Solving	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	4.0	10.0	33.3%	0		7.72s	5,629	10,835
Grok 4.20 Beta	4.0	7.2	55.6%	1		541ms	291	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	275	3,802
Grok 4.20 Beta	10.0	10.0	100.0%	0		4.79s	189	0

Быстрое сравнение

Сменить пару сравнения

GPT-5.2 ChatnonevsStep 3.5 FlashmediumБесплатно доступно Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 FlashmediumБесплатно доступно GPT-5.3 ChatnonevsStep 3.5 FlashmediumБесплатно доступно Gemini 3 Flash PreviewnonevsStep 3.5 FlashmediumБесплатно доступно MiniMax M2.5mediumvsGrok 4.20 Betanone Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 FlashmediumБесплатно доступно Claude Sonnet 4.6nonevsStep 3.5 FlashmediumБесплатно доступно gpt-oss-120bmediumБесплатно доступноvsGrok 4.20 Betanone Gemini 3 Flash PreviewlowvsStep 3.5 FlashmediumБесплатно доступно Mercury 2mediumvsGrok 4.20 Betanone Qwen3 Coder NextmediumvsGrok 4.20 Betanone Qwen3.5-35B-A3BmediumvsGrok 4.20 Betanone