Навигация
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs Nemotron 3 Ultra 550b A55b

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-04

Метрика Mercury 2 Mercury 2 medium Релиз: 2026-02-24 Nemotron 3 Ultra 550b A55b Nemotron 3 Ultra 550b A55b none Релиз: 2026-06-04 Бесплатно доступно
Оценка 6.6 6.0
Ранг #81 #104
Надежность 10.0 10.0
Стабильность 8.8 9.2
Тестов верно
Доля успешных попыток 54.0% 44.4%
Нестабильные тесты 3 2
Всего запусков 63 63
Стоимость за результат 0.578 0.000
Общая стоимость $0.058 $0.000
Цена входа $0.250 / 1M $0.000 / 1M
Цена выхода $0.750 / 1M $0.000 / 1M
Общее число входных токенов 35,116 43,326
Выходные токены 4,048 2,138
Токены рассуждений 61,219 0
Время ответа (среднее) 2.24s 2.27s
Время ответа (макс.) 14.63s 13.49s
Время ответа (суммарно) 44.72s 47.65s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Nemotron 3 Ultra 550b A55b 3.5 8.0 16.7% 1 2.35s 696 239 0
Программирование Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Nemotron 3 Ultra 550b A55b 5.5 10.0 33.3% 0 1.02s 7,623 369 0
Комбинированный Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Nemotron 3 Ultra 550b A55b 3.0 10.0 0.0% 0 4.79s 15,558 357 0
Парсинг и извлечение данных Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 1.94s 7,944 249 0
Предметно-ориентированное Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Nemotron 3 Ultra 550b A55b 5.3 10.0 33.3% 0 698ms 789 27 0
Общий интеллект Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Nemotron 3 Ultra 550b A55b 5.0 10.0 0.0% 0 13.49s 516 101 0
Следование инструкциям Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 1.46s 723 69 0
Решение головоломок Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Nemotron 3 Ultra 550b A55b 5.9 7.2 55.6% 1 1.06s 726 352 0
Вызов инструментов Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Nemotron 3 Ultra 550b A55b 10.0 10.0 100.0% 0 2.99s 8,544 264 0
Эрудиция Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Nemotron 3 Ultra 550b A55b 3.0 10.0 0.0% 0 1.83s 207 111 0

Быстрое сравнение

Сменить пару сравнения