AI BENCHY Compare

Inception: Mercury 2 vs Mistral: Mistral Small 4

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-03

Метрика	Mercury 2 Mercury 2 none Релиз: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Релиз: 2026-03-16

Метрика	Mercury 2 Mercury 2 none Релиз: 2026-02-24	Mistral Small 4 Mistral Small 4 medium Релиз: 2026-03-16
Оценка	4.6	5.4
Ранг	#153	#129
Надежность	10.0	10.0
Стабильность	9.1	7.1
Тестов верно
Доля успешных попыток	25.0%	45.0%
Нестабильные тесты	2	7
Всего запусков	60	60
Стоимость за результат	0.216	1.112
Общая стоимость	$0.009	$0.056
Цена входа	$0.250 / 1M	$0.150 / 1M
Цена выхода	$0.750 / 1M	$0.600 / 1M
Общее число входных токенов	25,515	39,834
Выходные токены	3,001	21,871
Токены рассуждений	0	68,349
Время ответа (среднее)	614ms	8.35s
Время ответа (макс.)	1.27s	59.15s
Время ответа (суммарно)	12.28s	167.08s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.0	10.0	0.0%	0		483ms	631	286	0
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.5	9.4	0.0%	0		831ms	4,631	1,650	0
Mistral Small 4	5.1	6.8	33.3%	1		44.82s	4,894	9,322	38,386

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.0	10.0	0.0%	0		606ms	4,821	131	0
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	18,706	2,612	10,700

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	7.3	5.9	83.3%	1		667ms	6,362	180	0
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	5.3	7.2	44.4%	1		534ms	784	46	0
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	4.8	10.0	0.0%	0		628ms	495	159	0
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	6.5	10.0	50.0%	0		551ms	691	82	0
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.1	10.0	0.0%	0		535ms	694	251	0
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	10.0	10.0	100.0%	0		1.27s	6,193	197	0
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2	3.0	10.0	0.0%	0		548ms	213	19	0
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557

Быстрое сравнение

Сменить пару сравнения

Mistral Small 4mediumvsGrok 4.20none DeepSeek V3.2nonevsMistral Small 4medium Mistral Small 4mediumvsgpt-oss-120bnoneБесплатно доступно Mistral Small 4mediumvsQwen3.5-122B-A10Bnone Mistral Small 4mediumvsGLM 5 Turbonone Mistral Small 4mediumvsKimi K2.5none Mistral Small 4mediumvsQwen3.6 Flashnone Mercury 2nonevsQwen3 Coder Nextmedium Mercury 2nonevsGLM 4.7 Flashmedium Mistral Small 4mediumvsKimi K2.6noneБесплатно доступно Mistral Small 4mediumvsMiMo-V2.5-Pronone Mistral Small 4mediumvsGPT-5.4none