9.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Стоимость за результат
0.000Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
0.114Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
Общая стоимость
$0.000Общая стоимость…
$0.005Общая стоимость…
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 9Не соблюдены инструкции: 2Время ответа (среднее)3.15sВремя ответа (макс.)8.91sВремя ответа (суммарно)50.46sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 11Не соблюдены инструкции: 1Время ответа (среднее)2.07sВремя ответа (макс.)7.58sВремя ответа (суммарно)18.60sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
25.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
48 (16 x 3)Всего запусков…
48 (16 x 3)Всего запусков…
Выходные токены
1,837Выходные токены…
1,594Выходные токены…
Токены рассуждений
0Токены рассуждений…
0Токены рассуждений…
Время ответа (среднее)
3.15sВремя ответа (среднее)…
2.07sВремя ответа (среднее)…
Время ответа (макс.)
8.91sВремя ответа (макс.)…
7.58sВремя ответа (макс.)…
Время ответа (суммарно)
50.46sВремя ответа (суммарно)…
18.60sВремя ответа (суммарно)…
Лучшие модели по оценке
Оценка vs общая стоимость
Время ответа (среднее)
Средний балл vs Время ответа (среднее)
Разбивка по категориям
Анти-ИИ уловки
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)3.59sВремя ответа (макс.)8.17sВремя ответа (суммарно)10.78sТест считается полностью пройденным, только если все его прогоны успешны.…
3.59sВремя ответа (среднее)…
587Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)1.83sВремя ответа (макс.)1.83sВремя ответа (суммарно)1.83sТест считается полностью пройденным, только если все его прогоны успешны.…
1.83sВремя ответа (среднее)…
180Выходные токены…
0Токены рассуждений…
Комбинированный
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)8.91sВремя ответа (макс.)8.91sВремя ответа (суммарно)8.91sТест считается полностью пройденным, только если все его прогоны успешны.…
8.91sВремя ответа (среднее)…
294Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)7.58sВремя ответа (макс.)7.58sВремя ответа (суммарно)7.58sТест считается полностью пройденным, только если все его прогоны успешны.…
7.58sВремя ответа (среднее)…
568Выходные токены…
0Токены рассуждений…
Парсинг и извлечение данных
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
9.9Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.26sВремя ответа (макс.)4.66sВремя ответа (суммарно)6.52sТест считается полностью пройденным, только если все его прогоны успешны.…
3.26sВремя ответа (среднее)…
186Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
9.9Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)1.27sВремя ответа (макс.)1.27sВремя ответа (суммарно)1.27sТест считается полностью пройденным, только если все его прогоны успешны.…
1.27sВремя ответа (среднее)…
183Выходные токены…
0Токены рассуждений…
Предметно-ориентированное
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)877msВремя ответа (макс.)894msВремя ответа (суммарно)2.63sТест считается полностью пройденным, только если все его прогоны успешны.…
877msВремя ответа (среднее)…
25Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)637msВремя ответа (макс.)637msВремя ответа (суммарно)637msТест считается полностью пройденным, только если все его прогоны успешны.…
637msВремя ответа (среднее)…
15Выходные токены…
0Токены рассуждений…
Общий интеллект
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
3.0Средний балл по всем бенчмарк-тестам.…
9.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)2.86sВремя ответа (макс.)2.86sВремя ответа (суммарно)2.86sТест считается полностью пройденным, только если все его прогоны успешны.…
2.86sВремя ответа (среднее)…
124Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)909msВремя ответа (макс.)909msВремя ответа (суммарно)909msТест считается полностью пройденным, только если все его прогоны успешны.…
909msВремя ответа (среднее)…
66Выходные токены…
0Токены рассуждений…
Следование инструкциям
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
3.5Средний балл по всем бенчмарк-тестам.…
6.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
16.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)1.09sВремя ответа (макс.)1.23sВремя ответа (суммарно)2.19sТест считается полностью пройденным, только если все его прогоны успешны.…
1.09sВремя ответа (среднее)…
63Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
4.5Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)1.27sВремя ответа (макс.)1.27sВремя ответа (суммарно)1.27sТест считается полностью пройденным, только если все его прогоны успешны.…
1.27sВремя ответа (среднее)…
69Выходные токены…
0Токены рассуждений…
Puzzle Solving
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 2Время ответа (среднее)3.30sВремя ответа (макс.)4.81sВремя ответа (суммарно)9.91sТест считается полностью пройденным, только если все его прогоны успешны.…
3.30sВремя ответа (среднее)…
291Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
2.3Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)1.30sВремя ответа (макс.)1.54sВремя ответа (суммарно)2.60sТест считается полностью пройденным, только если все его прогоны успешны.…
1.30sВремя ответа (среднее)…
308Выходные токены…
0Токены рассуждений…
Вызов инструментов
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Выходные токены
Токены рассуждений
Trinity Large Preview
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)6.67sВремя ответа (макс.)6.67sВремя ответа (суммарно)6.67sТест считается полностью пройденным, только если все его прогоны успешны.…
6.67sВремя ответа (среднее)…
267Выходные токены…
0Токены рассуждений…
OpenAI: GPT-4o-mini
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.51sВремя ответа (макс.)2.51sВремя ответа (суммарно)2.51sТест считается полностью пройденным, только если все его прогоны успешны.…