AI BENCHY Compare

Inception: Mercury 2 vs xAI: Grok 4.20

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-05-10

Метрика	Mercury 2 Mercury 2 medium Релиз: 2026-02-24	Grok 4.20 Grok 4.20 none Релиз: 2026-03-31

Метрика	Mercury 2 Mercury 2 medium Релиз: 2026-02-24	Grok 4.20 Grok 4.20 none Релиз: 2026-03-31
Оценка	6.3	5.4
Ранг	#82	#115
Надежность	10.0	Н/Д
Стабильность	8.7	9.5
Тестов верно
Доля успешных попыток	50.9%	35.2%
Нестабильные тесты	3	1
Всего запусков	57	54
Стоимость за результат	0.616	1.574
Общая стоимость	$0.050	$0.095
???? ?????	$0.250 / 1M	$1.250 / 1M
???? ??????	$0.750 / 1M	$2.500 / 1M
Выходные токены	3,994	1,967
Токены рассуждений	52,081	0
Время ответа (среднее)	2.23s	1.11s
Время ответа (макс.)	14.63s	6.04s
Время ответа (суммарно)	40.10s	20.02s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	6.9	9.9	50.0%	0		1.12s	2,546	2,609
Grok 4.20	4.8	10.0	25.0%	0		501ms	267	0

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.53s	249	2,213
Grok 4.20	3.4	9.3	0.0%	0		1.22s	312	0

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		3.28s	268	4,887
Grok 4.20	3.0	10.0	0.0%	0		6.04s	282	0

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	7.3	5.9	83.3%	1		1.11s	183	1,656
Grok 4.20	10.0	10.0	100.0%	0		522ms	207	0

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	2.9	7.2	11.1%	1		6.48s	41	30,754
Grok 4.20	3.0	10.0	0.0%	0		687ms	325	0

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	4.8	10.0	0.0%	0		821ms	137	542
Grok 4.20	4.8	10.0	0.0%	0		659ms	83	0

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.07s	14	958
Grok 4.20	6.3	10.0	50.0%	0		455ms	60	0

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	3.8	7.3	22.2%	1		934ms	354	2,758
Grok 4.20	5.3	7.2	44.4%	1		487ms	242	0

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.89s	180	1,956
Grok 4.20	10.0	10.0	100.0%	0		4.63s	189	0

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Выходные токены	Токены рассуждений
Mercury 2	3.0	10.0	0.0%	0		2.58s	22	3,748
Grok 4.20	-	-	-	-	-	-	-	-

Быстрое сравнение

Сменить пару сравнения

Gemini 2.5 FlashnonevsMercury 2medium Mercury 2mediumvsMiMo-V2-Omninone Gemma 4 26B A4BnoneБесплатно доступноvsMercury 2medium Elephant AlphamediumvsGrok 4.20none DeepSeek V4 PrononevsMercury 2medium Mistral Small 4mediumvsGrok 4.20none MiniMax M2.5mediumБесплатно доступноvsGrok 4.20none Mercury 2mediumvsGLM 5none Mercury 2mediumvsQwen3.5 Plus 2026-02-15none Seed-2.0-LitenonevsMercury 2medium Mercury 2mediumvsGLM 5V Turbonone Mercury 2mediumvsQwen3.5-Flashnone