AI BENCHY Compare

StepFun: Step 3.5 Flash vs xAI: Grok 4.20 Beta

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-03-12

Метрика	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01 Бесплатно доступно	Grok 4.20 Beta Grok 4.20 Beta medium Релиз: 2026-03-12

Метрика	Step 3.5 Flash Step 3.5 Flash medium Релиз: 2026-02-01 Бесплатно доступно	Grok 4.20 Beta Grok 4.20 Beta medium Релиз: 2026-03-12
Ранг	#14	#24
Средний балл	7.4	7.0
Стабильность	9.1	9.0
Стоимость за результат	0.000	5.989
Общая стоимость	$0.000	$0.599
Тестов верно
Доля успешных попыток	68.8%	70.8%
Нестабильные тесты	2	2
Всего запусков	48	48
Выходные токены	71,452	1,481
Токены рассуждений	155,147	86,628
Время ответа (среднее)	29.10s	8.89s
Время ответа (макс.)	170.45s	24.21s
Время ответа (суммарно)	290.96s	142.18s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Средний балл vs Время ответа (среднее)

Общее число выходных токенов

Средний балл vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		18.54s	13,924	17,208
Grok 4.20 Beta	7.0	7.2	88.9%	1		3.19s	262	6,289

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		29.57s	1,176	12,984
Grok 4.20 Beta	10.0	10.0	100.0%	0		20.93s	227	12,212

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		15.01s	600	13,886
Grok 4.20 Beta	9.9	10.0	100.0%	0		4.01s	180	5,281

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	4.0	7.2	44.4%	1		170.45s	45,350	90,436
Grok 4.20 Beta	4.0	10.0	33.3%	0		21.33s	251	40,255

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	6.0	10.0	0.0%	0		6.54s	2,214	2,584
Grok 4.20 Beta	10.0	10.0	100.0%	0		5.78s	72	3,440

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	9.0	6.8	83.3%	1		4.98s	2,284	3,412
Grok 4.20 Beta	9.0	10.0	50.0%	0		4.97s	57	7,107

Puzzle Solving	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	4.0	10.0	33.3%	0		7.72s	5,629	10,835
Grok 4.20 Beta	7.0	7.2	88.9%	1		3.85s	249	6,660

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Step 3.5 Flash	10.0	10.0	100.0%	0		11.91s	275	3,802
Grok 4.20 Beta	10.0	10.0	0.0%	0		12.39s	183	5,384

Быстрое сравнение

Сменить пару сравнения

GPT-5.2 ChatnonevsStep 3.5 FlashmediumБесплатно доступно Gemini 3.1 Flash Lite PreviewnonevsGrok 4.20 Betamedium Gemini 3.1 Flash Lite PreviewlowvsStep 3.5 FlashmediumБесплатно доступно GPT-5.3 ChatnonevsStep 3.5 FlashmediumБесплатно доступно Gemini 3 Flash PreviewnonevsGrok 4.20 Betamedium Claude Sonnet 4.6nonevsGrok 4.20 Betamedium Gemini 3 Flash PreviewnonevsStep 3.5 FlashmediumБесплатно доступно GPT-5.3 ChatnonevsGrok 4.20 Betamedium Gemini 3.1 Flash Lite PreviewlowvsGrok 4.20 Betamedium Gemini 3.1 Flash Lite PreviewnonevsStep 3.5 FlashmediumБесплатно доступно GPT-5.2 ChatnonevsGrok 4.20 Betamedium Claude Sonnet 4.6nonevsStep 3.5 FlashmediumБесплатно доступно