Навигация
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs OpenAI: GPT-5.4 Mini

Сводка

Сравнение benchmark Mercury 2 vs GPT-5.4 Mini: GPT-5.4 Mini лидирует по среднему баллу: 5.3 vs 4.6. Mercury 2 имеет более низкую стоимость benchmark: $0.011 vs $0.038. Mercury 2 быстрее: 653ms vs 1.13s, с долей успешных попыток 23.8% vs 30.2%.

Рекомендуемая модель: Mercury 2 - Его балл близок к лучшему здесь (4.6 против 5.3), при этом он примерно в 3.6 раза дешевле, чем GPT-5.4 Mini.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-18

Метрика Mercury 2 Mercury 2 none Релиз: 2026-02-24 GPT-5.4 Mini GPT-5.4 Mini none Релиз: 2026-03-17
Оценка 4.6 5.3
Ранг #151 #124
Надежность 10.0 10.0
Стабильность 9.2 8.8
Тестов верно
Доля успешных попыток 23.8% 30.2%
Нестабильные тесты 2 3
Всего запусков 63 63
Стоимость за результат 0.259 0.743
Общая стоимость $0.011 $0.038
Цена входа $0.250 / 1M $0.750 / 1M
Цена выхода $0.750 / 1M $4.500 / 1M
Общее число входных токенов 28,113 34,244
Выходные токены 4,439 2,541
Токены рассуждений 0 0
Время ответа (среднее) 653ms 1.13s
Время ответа (макс.) 1.43s 2.52s
Время ответа (суммарно) 13.72s 23.82s

Генерация showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#151 Mercury 2

none
Стоимость
$0.002
Время
1.8s
Токены
1,514 tok

#124 GPT-5.4 Mini

none
Стоимость
$0.010
Время
11.7s
Токены
2,151 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
GPT-5.4 Mini 3.1 8.1 8.3% 1 929ms 606 654 0
Программирование Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.4 9.6 0.0% 0 1.03s 7,229 3,088 0
GPT-5.4 Mini 5.5 10.0 33.3% 0 913ms 7,305 401 0
Комбинированный Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.52s 11,019 298 0
Парсинг и извлечение данных Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
GPT-5.4 Mini 10.0 10.0 100.0% 0 1.30s 7,140 222 0
Предметно-ориентированное Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
GPT-5.4 Mini 3.5 4.4 33.3% 2 937ms 723 88 0
Общий интеллект Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
GPT-5.4 Mini 4.8 10.0 0.0% 0 1.82s 477 174 0
Следование инструкциям Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
GPT-5.4 Mini 6.3 10.0 50.0% 0 728ms 660 101 0
Решение головоломок Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
GPT-5.4 Mini 5.4 10.0 33.3% 0 836ms 642 305 0
Вызов инструментов Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 2.32s 5,477 255 0
Эрудиция Оценка Стабильность Доля успешных попыток Нестабильные тесты Тестов верно Время ответа (среднее) Входные токены Выходные токены Токены рассуждений
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0
GPT-5.4 Mini 3.0 10.0 0.0% 0 1.33s 195 43 0

Быстрое сравнение

Сменить пару сравнения

Mercury 2nonevsQwen3 Coder NextmediumMercury 2nonevsMiniMax M2.5mediumMiniMax M2.7mediumvsGPT-5.4 MininoneMistral Small 4mediumvsGPT-5.4 MininoneCobuddymediumvsMercury 2noneMercury 2nonevsGLM 4.7 FlashmediumCobuddymediumvsGPT-5.4 MininoneMercury 2nonevsMistral Small 4mediumNorth Mini CodemediumБесплатно доступноvsGPT-5.4 MininoneMercury 2nonevsMiniMax M2.7mediumMiniMax M2.5mediumvsGPT-5.4 MininoneGPT-5.4 MininonevsQwen3 Coder Nextmedium