AI BENCHY Compare

ByteDance Seed: Seed-2.0-Lite vs OpenAI: GPT-5.4

Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-06-03

Метрика	Seed-2.0-Lite Seed-2.0-Lite medium Релиз: 2026-02-14	GPT-5.4 GPT-5.4 medium Релиз: 2026-03-05

Метрика	Seed-2.0-Lite Seed-2.0-Lite medium Релиз: 2026-02-14	GPT-5.4 GPT-5.4 medium Релиз: 2026-03-05
Оценка	8.1	7.9
Ранг	#20	#27
Надежность	10.0	10.0
Стабильность	8.9	8.5
Тестов верно
Доля успешных попыток	75.0%	75.0%
Нестабильные тесты	3	4
Всего запусков	60	60
Стоимость за результат	1.166	8.765
Общая стоимость	$0.152	$1.140
Цена входа	$0.250 / 1M	$2.500 / 1M
Цена выхода	$2.000 / 1M	$15.000 / 1M
Общее число входных токенов	43,785	31,489
Выходные токены	3,224	2,221
Токены рассуждений	67,040	68,486
Время ответа (среднее)	36.67s	22.31s
Время ответа (макс.)	168.71s	100.41s
Время ответа (суммарно)	733.46s	446.17s

Лучшие модели по оценке

Оценка vs общая стоимость

Время ответа (среднее)

Оценка vs Время ответа (среднее)

Общее число выходных токенов

Оценка vs Общее число выходных токенов

Разбивка по категориям

Анти-ИИ уловки	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	8.3	10.0	75.0%	0		17.99s	942	996	7,142
GPT-5.4	8.3	10.0	75.0%	0		4.11s	606	240	1,511

Программирование	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	7.0	9.7	50.0%	0		107.65s	5,292	452	20,524
GPT-5.4	8.2	6.7	83.3%	1		54.98s	4,686	412	19,995

Комбинированный	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	10.0	10.0	100.0%	0		37.67s	16,254	506	4,299
GPT-5.4	10.0	10.0	100.0%	0		20.57s	11,019	301	3,543

Парсинг и извлечение данных	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	10.0	10.0	100.0%	0		9.07s	8,562	246	1,742
GPT-5.4	10.0	10.0	100.0%	0		5.32s	7,140	234	804

Предметно-ориентированное	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	5.9	7.2	55.6%	1		88.74s	843	15	23,897
GPT-5.4	5.3	7.2	44.4%	1		74.27s	619	61	34,748

Общий интеллект	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	6.7	3.6	66.7%	1		18.25s	582	304	1,620
GPT-5.4	4.7	3.1	33.3%	1		4.92s	477	145	321

Следование инструкциям	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	10.0	10.0	100.0%	0		7.26s	834	71	1,480
GPT-5.4	10.0	10.0	100.0%	0		3.11s	660	93	897

Решение головоломок	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	9.0	7.9	88.9%	1		10.23s	894	403	3,285
GPT-5.4	8.2	7.2	88.9%	1		9.14s	642	441	3,815

Вызов инструментов	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	10.0	10.0	100.0%	0		12.38s	9,306	222	1,011
GPT-5.4	10.0	10.0	100.0%	0		13.28s	5,445	264	1,031

Эрудиция	Оценка	Стабильность	Доля успешных попыток	Нестабильные тесты	Тестов верно	Время ответа (среднее)	Входные токены	Выходные токены	Токены рассуждений
Seed-2.0-Lite	3.0	10.0	0.0%	0		48.32s	276	9	2,040
GPT-5.4	3.0	10.0	0.0%	0		13.95s	195	30	1,821

Быстрое сравнение

Сменить пару сравнения

GPT-5.4mediumvsQwen3.7 Maxnone Seed-2.0-LitemediumvsGemini 3.5 Flashnone Gemini 3.5 FlashminimalvsGPT-5.4medium Seed-2.0-LitemediumvsGemini 3.5 Flashminimal Gemini 3.5 FlashnonevsGPT-5.4medium Seed-2.0-LitemediumvsQwen3.7 Maxnone Seed-2.0-LitemediumvsGPT-5.2 Chatnone Gemini 3 Flash PreviewnonevsGPT-5.4medium DeepSeek V4 FlashhighvsGPT-5.4medium Gemini 3.1 Flash Lite PreviewlowvsGPT-5.4medium Seed-2.0-LitemediumvsGemini 3 Flash Previewnone Seed-2.0-LitemediumvsDeepSeek V4 Flashhigh