8.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
7.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Стоимость за результат
0.220Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
3.125Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
Общая стоимость
$0.016Общая стоимость…
$0.313Общая стоимость…
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 6Лишнее форматирование: 2invalid tool call: 1Время ответа (среднее)12.86sВремя ответа (макс.)115.89sВремя ответа (суммарно)205.78sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 3Нет ответа: 1Тайм-аут: 1Неверный ответ: 1Время ответа (среднее)15.33sВремя ответа (макс.)77.80sВремя ответа (суммарно)138.01sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
54.2%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
75.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
3Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
4Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
48Всего запусков…
48Всего запусков…
Выходные токены
7,823Выходные токены…
2,220Выходные токены…
Токены рассуждений
0Токены рассуждений…
16,811Токены рассуждений…
Время ответа (среднее)
12.86sВремя ответа (среднее)…
15.33sВремя ответа (среднее)…
Время ответа (макс.)
115.89sВремя ответа (макс.)…
77.80sВремя ответа (макс.)…
Время ответа (суммарно)
205.78sВремя ответа (суммарно)…
138.01sВремя ответа (суммарно)…
Лучшие модели по оценке
Оценка vs общая стоимость
Время ответа (среднее)
Средний балл vs Время ответа (среднее)
Разбивка по категориям
Анти-ИИ уловки
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
10.0Средний балл по всем бенчмарк-тестам.…
9.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Лишнее форматирование: 2Неверный ответ: 1Время ответа (среднее)8.79sВремя ответа (макс.)12.26sВремя ответа (суммарно)26.38sТест считается полностью пройденным, только если все его прогоны успешны.…
8.79sВремя ответа (среднее)…
1,411Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
7.0Средний балл по всем бенчмарк-тестам.…
7.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)14.34sВремя ответа (макс.)14.34sВремя ответа (суммарно)14.34sТест считается полностью пройденным, только если все его прогоны успешны.…
14.34sВремя ответа (среднее)…
549Выходные токены…
2,002Токены рассуждений…
Комбинированный
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
8.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.invalid tool call: 1Время ответа (среднее)115.89sВремя ответа (макс.)115.89sВремя ответа (суммарно)115.89sТест считается полностью пройденным, только если все его прогоны успешны.…
115.89sВремя ответа (среднее)…
2,887Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)14.06sВремя ответа (макс.)14.06sВремя ответа (суммарно)14.06sТест считается полностью пройденным, только если все его прогоны успешны.…
14.06sВремя ответа (среднее)…
291Выходные токены…
1,757Токены рассуждений…
Парсинг и извлечение данных
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
5.4Средний балл по всем бенчмарк-тестам.…
5.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)9.42sВремя ответа (макс.)16.20sВремя ответа (суммарно)18.84sТест считается полностью пройденным, только если все его прогоны успешны.…
9.42sВремя ответа (среднее)…
1,710Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
9.9Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.15sВремя ответа (макс.)3.15sВремя ответа (суммарно)3.15sТест считается полностью пройденным, только если все его прогоны успешны.…
3.15sВремя ответа (среднее)…
234Выходные токены…
420Токены рассуждений…
Предметно-ориентированное
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
10.0Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
22.2%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)1.61sВремя ответа (макс.)1.77sВремя ответа (суммарно)4.83sТест считается полностью пройденным, только если все его прогоны успешны.…
1.61sВремя ответа (среднее)…
24Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
4.0Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
55.6%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Тайм-аут: 1Неверный ответ: 1Время ответа (среднее)77.80sВремя ответа (макс.)77.80sВремя ответа (суммарно)77.80sТест считается полностью пройденным, только если все его прогоны успешны.…
77.80sВремя ответа (среднее)…
42Выходные токены…
10,342Токены рассуждений…
Общий интеллект
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.86sВремя ответа (макс.)2.86sВремя ответа (суммарно)2.86sТест считается полностью пройденным, только если все его прогоны успешны.…
2.86sВремя ответа (среднее)…
67Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
10.0Средний балл по всем бенчмарк-тестам.…
9.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)4.32sВремя ответа (макс.)4.32sВремя ответа (суммарно)4.32sТест считается полностью пройденным, только если все его прогоны успешны.…
4.32sВремя ответа (среднее)…
162Выходные токены…
269Токены рассуждений…
Следование инструкциям
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)1.52sВремя ответа (макс.)1.99sВремя ответа (суммарно)3.04sТест считается полностью пройденным, только если все его прогоны успешны.…
1.52sВремя ответа (среднее)…
66Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
9.5Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.12sВремя ответа (макс.)3.12sВремя ответа (суммарно)3.12sТест считается полностью пройденным, только если все его прогоны успешны.…
3.12sВремя ответа (среднее)…
94Выходные токены…
614Токены рассуждений…
Puzzle Solving
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
7.7Средний балл по всем бенчмарк-тестам.…
7.5Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
88.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)7.37sВремя ответа (макс.)10.78sВремя ответа (суммарно)22.10sТест считается полностью пройденным, только если все его прогоны успешны.…
7.37sВремя ответа (среднее)…
1,136Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
7.0Средний балл по всем бенчмарк-тестам.…
7.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)5.47sВремя ответа (макс.)6.45sВремя ответа (суммарно)10.94sТест считается полностью пройденным, только если все его прогоны успешны.…
5.47sВремя ответа (среднее)…
609Выходные токены…
938Токены рассуждений…
Вызов инструментов
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
DeepSeek: DeepSeek V3.2
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)11.85sВремя ответа (макс.)11.85sВремя ответа (суммарно)11.85sТест считается полностью пройденным, только если все его прогоны успешны.…
11.85sВремя ответа (среднее)…
522Выходные токены…
0Токены рассуждений…
OpenAI: GPT-5.2
10.0Средний балл по всем бенчмарк-тестам.…
1.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет ответа: 1Время ответа (среднее)10.30sВремя ответа (макс.)10.30sВремя ответа (суммарно)10.30sТест считается полностью пройденным, только если все его прогоны успешны.…