AI BENCHY Compare

IBM: Granite 4.1 8B vs Mistral: Mistral Small 4

Сводка

Сравнение benchmark Granite 4.1 8B vs Mistral Small 4: Mistral Small 4 лидирует по среднему баллу: 5.1 vs 4.0. Granite 4.1 8B имеет более низкую стоимость benchmark: $0.003 vs $0.068. Granite 4.1 8B быстрее: 728ms vs 9.40s, с долей успешных попыток 9.5% vs 44.4%.

Рекомендуемая модель: Granite 4.1 8B - Он дает лучший общий компромисс: конкурентный балл (4.0), ниже стоимость, чем у Mistral Small 4, и сбалансированное время ответа.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-12

Метрика	Granite 4.1 8B Granite 4.1 8B none Релиз: 2026-05-01	Mistral Small 4 Mistral Small 4 medium Релиз: 2026-03-16

Метрика	Granite 4.1 8B Granite 4.1 8B none Релиз: 2026-05-01	Mistral Small 4 Mistral Small 4 medium Релиз: 2026-03-16
Оценка	4.0	5.1
Ранг	#163	#138
Надежность	10.0	10.0
Стабильность	10.0	6.9
Тестов верно
Доля успешных попыток	9.5%	44.4%
Нестабильные тесты	0	8
Всего запусков	63	63
Стоимость за результат	0.131	1.344
Общая стоимость	$0.003	$0.068
Цена входа	$0.050 / 1M	$0.150 / 1M
Цена выхода	$0.100 / 1M	$0.600 / 1M
Общее число входных токенов	46,285	42,576
Выходные токены	2,911	24,184
Токены рассуждений	0	84,678
Время ответа (среднее)	728ms	9.40s
Время ответа (макс.)	2.17s	59.15s
Время ответа (суммарно)	15.29s	197.39s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#163 IBM: Granite 4.1 8B

none

Cost: $0.001
Time: 3.2s
Tokens: 491 tok

#138 Mistral Small 4

medium

Cost: $0.006
Time: 47.9s
Tokens: 9,857 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	4.9	10.0	25.0%	0		844ms	645	903	0
Mistral Small 4	5.6	3.8	66.7%	3		2.67s	708	4,055	4,778

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	4.5	10.0	0.0%	0		775ms	8,344	525	0
Mistral Small 4	4.4	5.1	33.3%	2		39.98s	7,636	11,635	54,715

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.0	10.0	0.0%	0		1.88s	19,089	396	0
Mistral Small 4	3.0	10.0	0.0%	0		25.25s	18,706	2,612	10,700

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.0	10.0	0.0%	0		575ms	7,617	195	0
Mistral Small 4	7.3	5.9	83.3%	1		1.23s	6,171	335	723

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.0	10.0	0.0%	0		357ms	768	24	0
Mistral Small 4	5.3	7.2	44.4%	1		6.11s	742	2,621	6,904

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	4.0	10.0	0.0%	0		499ms	528	115	0
Mistral Small 4	4.8	10.0	0.0%	0		2.05s	519	821	828

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.6	9.9	0.0%	0		344ms	687	66	0
Mistral Small 4	7.3	5.8	83.3%	1		1.38s	729	540	1,031

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.2	10.0	0.0%	0		608ms	672	432	0
Mistral Small 4	3.4	9.7	0.0%	0		2.17s	735	1,226	2,632

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	10.0	10.0	100.0%	0		2.17s	7,719	243	0
Mistral Small 4	10.0	10.0	100.0%	0		3.50s	6,420	321	810

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Granite 4.1 8B	3.0	10.0	0.0%	0		306ms	216	12	0
Mistral Small 4	3.0	10.0	0.0%	0		5.92s	210	18	1,557

Быстрое сравнение

Сменить пару сравнения

Mistral Small 4mediumvsMiMo-V2.5none Mistral Small 4mediumvsQwen3.5-9Bnone Mistral Small 4mediumvsQwen3 Coder Nextnone Mistral Small 4mediumvsQwen3.6 35B A3Bnone Trinity Large PreviewnonevsMistral Small 4medium Mistral Small 4mediumvsGPT-4o-mininone DeepSeek V3.2nonevsMistral Small 4medium Mistral Small 4mediumvsQwen3.5-122B-A10Bnone Mistral Small 4mediumvsGPT-5.4 Mininone Mistral Small 4mediumvsGrok 4.20none Granite 4.1 8BnonevsQwen3.5-9Bmedium Mistral Small 4mediumvsGLM 5 Turbonone