Mercury 2.5 (low) vs Nemotron 3.5 Lightning (high)

Nemotron 3.5 Lightning (high) лидирует по среднему баллу: 5.2 vs 5.1. Mercury 2.5 (low) имеет более низкую стоимость benchmark: $0.020 vs $0.111. Mercury 2.5 (low) быстрее: 3.34s vs 77.08s, с долей успешных попыток 37.7% vs 47.8%.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-10-01

Сравниваемые модели

Ранг: #293
Общее число выходных токенов: 40,302
Время ответа (среднее): 3.34s
Общая стоимость: $0.020

Ранг: #287
Общее число выходных токенов: 659,693
Время ответа (среднее): 77.08s
Общая стоимость: $0.111

Рекомендуемая модель Mercury 2.5 (low)

Его балл близок к лучшему здесь (5.1 против 5.2), при этом он примерно в 5.8 раза дешевле, чем Nemotron 3.5 Lightning (high).

Подробное сравнение

Метрика	Mercury 2.5 Mercury 2.5 low Релиз: 2026-09-08	Nemotron 3.5 Lightning Nemotron 3.5 Lightning high Релиз: 2026-08-11 Бесплатно доступно

Метрика	Mercury 2.5 Mercury 2.5 low Релиз: 2026-09-08	Nemotron 3.5 Lightning Nemotron 3.5 Lightning high Релиз: 2026-08-11 Бесплатно доступно
Оценка	5.1	5.2
Ранг	#293	#287
Надежность	9.8	9.6
Стабильность	8.2	5.7
Попытки	69/69	69/69
Тестов верно
Доля успешных попыток	37.7%	47.8%
Нестабильные тесты	5	12
Всего запусков	69	69
Стоимость за результат	0.319	0.000
Общая стоимость	$0.020	$0.111
Цена входа	$0.040 / 1M	$0.060 / 1M
Цена выхода	$0.150 / 1M	$0.160 / 1M
Общее число входных токенов	326,083	170,517
Выходные токены	7,224	149,968
Токены рассуждений	33,078	509,725
Время ответа (среднее)	3.34s	77.08s
Время ответа (макс.)	47.06s	490.99s
Время ответа (суммарно)	76.80s	1772.78s
Параметры	~100B	30B всего (3B активных)
Доступность	Закрытая модель	Веса доступны

Генерация showcase моделей

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#293 Mercury 2.5

low

Стоимость: $0.001
Время: 2.4s
Токены: 1,236 tok

#287 Nemotron 3.5 Lightning

high

Стоимость: $0.000
Время: 92.8s
Токены: 11,343 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Агентные задачи	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	5.0	10.0	0.0%	0		47.06s	188,063	1,141	5,442
Nemotron 3.5 Lightning	3.5	8.3	0.0%	0		490.99s	52,501	1,624	3,472

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	6.9	7.9	66.7%	1		799ms	772	209	2,969
Nemotron 3.5 Lightning	5.5	3.7	66.7%	3		10.29s	696	2,432	15,948

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	5.5	10.0	33.3%	0		972ms	7,909	521	2,269
Nemotron 3.5 Lightning	4.4	5.1	33.3%	2		168.41s	7,623	68,533	242,319

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	3.0	10.0	0.0%	0		5.16s	107,683	3,750	11,351
Nemotron 3.5 Lightning	6.4	10.0	50.0%	0		160.45s	90,257	17,550	119,725

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	6.5	10.0	50.0%	0		1.06s	8,322	739	1,499
Nemotron 3.5 Lightning	7.3	5.9	83.3%	1		13.99s	7,944	3,210	16,835

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	3.6	7.2	22.2%	1		846ms	851	57	2,265
Nemotron 3.5 Lightning	2.9	4.4	22.2%	2		88.61s	798	45,616	72,496

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	4.4	9.9	0.0%	0		819ms	525	99	748
Nemotron 3.5 Lightning	3.7	9.5	0.0%	0		7.58s	516	4,331	4,408

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	2.9	6.0	16.7%	1		972ms	518	48	1,026
Nemotron 3.5 Lightning	8.5	6.8	83.3%	1		4.98s	723	502	3,779

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	5.9	4.5	66.7%	2		792ms	768	249	2,214
Nemotron 3.5 Lightning	3.6	1.8	44.4%	3		6.09s	726	1,236	9,851

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	9.8	10.0	100.0%	0		2.72s	10,440	388	2,537
Nemotron 3.5 Lightning	10.0	10.0	100.0%	0		6.92s	8,526	3,745	3,781

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5	3.0	10.0	0.0%	0		782ms	232	23	758
Nemotron 3.5 Lightning	3.0	10.0	0.0%	0		77.98s	207	1,189	17,111

Быстрое сравнение

Сменить пару сравнения