Mercury 2.5 Preview (high) vs Beam 1.0 501B A23B (medium)

Beam 1.0 501B A23B (medium) лидирует по среднему баллу: 6.6 vs 6.5. Mercury 2.5 Preview (high) имеет более низкую стоимость benchmark: $0.040 vs $0.499. Beam 1.0 501B A23B (medium) быстрее: 6.27s vs 7.61s, с долей успешных попыток 65.2% vs 65.2%.

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-10-17

Сравниваемые модели

Ранг: #224
Общее число выходных токенов: 180,597
Время ответа (среднее): 7.61s
Общая стоимость: $0.040

Ранг: #220
Общее число выходных токенов: 98,521
Время ответа (среднее): 6.27s
Общая стоимость: $0.499

Рекомендуемая модель Mercury 2.5 Preview (high)

Его балл близок к лучшему здесь (6.5 против 6.6), при этом он примерно в 12.8 раза дешевле, чем Beam 1.0 501B A23B (medium).

Подробное сравнение

Метрика	Mercury 2.5 Preview Mercury 2.5 Preview high Релиз: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium Релиз: 2026-10-17

Метрика	Mercury 2.5 Preview Mercury 2.5 Preview high Релиз: 2026-09-02	Beam 1.0 501B A23B Beam 1.0 501B A23B medium Релиз: 2026-10-17
Оценка	6.5	6.6
Ранг	#224	#220
Надежность	9.9	10.0
Стабильность	8.0	9.3
Попытки	69/69	69/69
Тестов верно
Доля успешных попыток	65.2%	65.2%
Нестабильные тесты	6	2
Всего запусков	69	69
Стоимость за результат	0.319	3.561
Общая стоимость	$0.040	$0.499
Цена входа	$0.040 / 1M	$1.000 / 1M
Цена выхода	$0.150 / 1M	$3.000 / 1M
Цена чтения из кэша	Н/Д	$0.100 / 1M
Цена записи в кэш	Н/Д	Н/Д
Общее число входных токенов	298,512	202,937
Выходные токены	3,178	4,328
Токены рассуждений	177,419	94,193
Время ответа (среднее)	7.61s	6.27s
Время ответа (макс.)	86.84s	31.55s
Время ответа (суммарно)	175.08s	144.28s
Параметры	~100B	501B всего (23B активных)
Доступность	Закрытая модель	Открытый исходный код

Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.

Генерация showcase моделей

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#224 Mercury 2.5 Preview

high

Стоимость: $0.001
Время: 4.5s
Токены: 3,851 tok

#220 Beam 1.0 501B A23B

medium

Стоимость: $0.005
Время: 11.8s
Токены: 4,267 tok

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Категория:

Агентные задачи	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	6.1	3.1	66.7%	1		86.84s	182,753	616	16,476
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		31.55s	172,837	2,588	9,026

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.09s	785	181	7,008
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.62s	1,113	232	4,706

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	6.7	7.8	55.6%	1		6.13s	7,751	485	42,569
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		11.81s	7,791	440	27,204

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	3.8	1.6	50.0%	2		14.36s	95,789	765	54,789
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		2.62s	7,665	132	2,087

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	10.0	10.0	100.0%	0		2.24s	8,292	560	8,522
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		1.24s	7,993	279	1,614

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	2.9	4.4	22.2%	2		5.68s	857	67	25,958
Beam 1.0 501B A23B	2.9	7.2	11.1%	1		11.66s	1,113	71	29,077

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	5.1	10.0	0.0%	0		1.88s	542	94	3,300
Beam 1.0 501B A23B	4.7	1.6	66.7%	1		1.87s	615	96	1,532

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	9.8	10.0	100.0%	0		1.05s	741	94	3,777
Beam 1.0 501B A23B	9.8	10.0	100.0%	0		1.24s	918	102	1,834

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	10.0	10.0	100.0%	0		1.21s	774	292	6,066
Beam 1.0 501B A23B	10.0	10.0	100.0%	0		3.91s	1,029	281	9,130

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	3.0	10.0	0.0%	0		2.25s	0	0	0
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		1.95s	1,530	72	440

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Mercury 2.5 Preview	3.0	10.0	0.0%	0		5.41s	228	24	8,954
Beam 1.0 501B A23B	3.0	10.0	0.0%	0		10.13s	333	35	7,543

Сменить пару сравнения