10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
9.1Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Стоимость за результат
1.025Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
0.000Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
Общая стоимость
$0.164Общая стоимость…
$0.000Общая стоимость…
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)12.36sВремя ответа (макс.)50.16sВремя ответа (суммарно)111.21sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 3Неверный ответ: 3Время ответа (среднее)29.10sВремя ответа (макс.)170.45sВремя ответа (суммарно)290.96sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
68.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
48 (16 x 3)Всего запусков…
48 (16 x 3)Всего запусков…
Выходные токены
1,634Выходные токены…
71,452Выходные токены…
Токены рассуждений
47,907Токены рассуждений…
155,147Токены рассуждений…
Время ответа (среднее)
12.36sВремя ответа (среднее)…
29.10sВремя ответа (среднее)…
Время ответа (макс.)
50.16sВремя ответа (макс.)…
170.45sВремя ответа (макс.)…
Время ответа (суммарно)
111.21sВремя ответа (суммарно)…
290.96sВремя ответа (суммарно)…
Лучшие модели по оценке
Оценка vs общая стоимость
Время ответа (среднее)
Средний балл vs Время ответа (среднее)
Разбивка по категориям
Анти-ИИ уловки
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)5.61sВремя ответа (макс.)5.61sВремя ответа (суммарно)5.61sТест считается полностью пройденным, только если все его прогоны успешны.…
5.61sВремя ответа (среднее)…
299Выходные токены…
3,127Токены рассуждений…
StepFun: Step 3.5 Flash
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)18.54sВремя ответа (макс.)32.30sВремя ответа (суммарно)37.07sТест считается полностью пройденным, только если все его прогоны успешны.…
18.54sВремя ответа (среднее)…
13,924Выходные токены…
17,208Токены рассуждений…
Комбинированный
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)50.16sВремя ответа (макс.)50.16sВремя ответа (суммарно)50.16sТест считается полностью пройденным, только если все его прогоны успешны.…
50.16sВремя ответа (среднее)…
351Выходные токены…
12,645Токены рассуждений…
StepFun: Step 3.5 Flash
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)29.57sВремя ответа (макс.)29.57sВремя ответа (суммарно)29.57sТест считается полностью пройденным, только если все его прогоны успешны.…
29.57sВремя ответа (среднее)…
1,176Выходные токены…
12,984Токены рассуждений…
Парсинг и извлечение данных
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
9.9Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.72sВремя ответа (макс.)4.72sВремя ответа (суммарно)4.72sТест считается полностью пройденным, только если все его прогоны успешны.…
4.72sВремя ответа (среднее)…
279Выходные токены…
5,333Токены рассуждений…
StepFun: Step 3.5 Flash
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)15.01sВремя ответа (макс.)15.01sВремя ответа (суммарно)15.01sТест считается полностью пройденным, только если все его прогоны успешны.…
15.01sВремя ответа (среднее)…
600Выходные токены…
13,886Токены рассуждений…
Предметно-ориентированное
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)21.12sВремя ответа (макс.)21.12sВремя ответа (суммарно)21.12sТест считается полностью пройденным, только если все его прогоны успешны.…
21.12sВремя ответа (среднее)…
12Выходные токены…
14,908Токены рассуждений…
StepFun: Step 3.5 Flash
4.0Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
44.4%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)170.45sВремя ответа (макс.)170.45sВремя ответа (суммарно)170.45sТест считается полностью пройденным, только если все его прогоны успешны.…
170.45sВремя ответа (среднее)…
45,350Выходные токены…
90,436Токены рассуждений…
Общий интеллект
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.09sВремя ответа (макс.)4.09sВремя ответа (суммарно)4.09sТест считается полностью пройденным, только если все его прогоны успешны.…
4.09sВремя ответа (среднее)…
111Выходные токены…
1,285Токены рассуждений…
StepFun: Step 3.5 Flash
6.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)6.54sВремя ответа (макс.)6.54sВремя ответа (суммарно)6.54sТест считается полностью пройденным, только если все его прогоны успешны.…
6.54sВремя ответа (среднее)…
2,214Выходные токены…
2,584Токены рассуждений…
Следование инструкциям
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)6.10sВремя ответа (макс.)6.10sВремя ответа (суммарно)6.10sТест считается полностью пройденным, только если все его прогоны успешны.…
6.10sВремя ответа (среднее)…
72Выходные токены…
4,558Токены рассуждений…
StepFun: Step 3.5 Flash
9.0Средний балл по всем бенчмарк-тестам.…
6.8Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)4.98sВремя ответа (макс.)4.98sВремя ответа (суммарно)4.98sТест считается полностью пройденным, только если все его прогоны успешны.…
4.98sВремя ответа (среднее)…
2,284Выходные токены…
3,412Токены рассуждений…
Puzzle Solving
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.43sВремя ответа (макс.)4.68sВремя ответа (суммарно)8.85sТест считается полностью пройденным, только если все его прогоны успешны.…
4.43sВремя ответа (среднее)…
276Выходные токены…
4,921Токены рассуждений…
StepFun: Step 3.5 Flash
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)7.72sВремя ответа (макс.)10.60sВремя ответа (суммарно)15.44sТест считается полностью пройденным, только если все его прогоны успешны.…
7.72sВремя ответа (среднее)…
5,629Выходные токены…
10,835Токены рассуждений…
Вызов инструментов
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Google: Gemini 3 Flash Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)10.55sВремя ответа (макс.)10.55sВремя ответа (суммарно)10.55sТест считается полностью пройденным, только если все его прогоны успешны.…
10.55sВремя ответа (среднее)…
234Выходные токены…
1,130Токены рассуждений…
StepFun: Step 3.5 Flash
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)11.91sВремя ответа (макс.)11.91sВремя ответа (суммарно)11.91sТест считается полностью пройденным, только если все его прогоны успешны.…