Бенчмарк-сравнение GPT-6.1 Sol (xhigh) vs GPT-6 Astra (xhigh) vs Claude Sonnet 5.5 (xhigh):GPT-6.1 Sol (xhigh) лидирует по Оценка со значением 9.9. GPT-6.1 Sol (xhigh) лидирует по Надежность со значением 10.0. У GPT-6.1 Sol (xhigh) самый низкий Общая стоимость: $1.377. Claude Sonnet 5.5 (xhigh) самый быстрый: 14.98s.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в:
2026-11-18
Сравниваемые модели
Ранг
#16
Общее число выходных токенов
102,482
Время ответа (среднее)
33.11s
Общая стоимость
$1.377
Ранг
#18
Общее число выходных токенов
90,095
Время ответа (среднее)
29.67s
Общая стоимость
$6.213
Ранг
#115
Общее число выходных токенов
83,041
Время ответа (среднее)
14.98s
Общая стоимость
$1.516
Рекомендуемая модельGPT-6.1 Sol (xhigh)
Здесь у него лучший балл (9.9), при этом он примерно в 2.8 раза дешевле, чем другие модели в этом сравнении.
GPT-6 AstraGPT-6 AstraxhighАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.Релиз: 2026-09-04
Claude Sonnet 5.5Claude Sonnet 5.5xhighАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.Релиз: 2026-09-29
Оценка
9.9Средний балл по всем бенчмарк-тестам.…
9.9Средний балл по всем бенчмарк-тестам.…
8.6Средний балл по всем бенчмарк-тестам.…
Ранг
#16
#18
#115
Надежность
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
9.9Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
9.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
9.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
8.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Попытки
69/69
69/69
69/69
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)33.11sВремя ответа (макс.)491.85sВремя ответа (суммарно)761.52sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)29.67sВремя ответа (макс.)381.11sВремя ответа (суммарно)682.42sТест считается полностью пройденным, только если все его прогоны успешны.…
97.1%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
97.1%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
79.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
4Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
69Всего запусков…
69Всего запусков…
69Всего запусков…
Стоимость за результат
6.256
28.237
9.473
Общая стоимость
$1.377
$6.213
$1.516
Цена входа
$2.000 / 1MЦена входа…
$10.000 / 1MЦена входа…
$2.000 / 1MЦена входа…
Цена выхода
$10.000 / 1MЦена выхода…
$50.000 / 1MЦена выхода…
$10.000 / 1MЦена выхода…
Цена чтения из кэша
$0.100 / 1MЦена чтения из кэша…
$1.000 / 1MЦена чтения из кэша…
$0.200 / 1MЦена чтения из кэша…
Цена записи в кэш
$2.500 / 1MЦена записи в кэш…
$12.500 / 1MЦена записи в кэш…
$2.500 / 1MЦена записи в кэш…
Общее число входных токенов
175,712Общее число входных токенов…
170,731Общее число входных токенов…
342,579Общее число входных токенов…
Выходные токены
5,640Выходные токены…
5,865Выходные токены…
12,848Выходные токены…
Токены рассуждений
96,842Токены рассуждений…
84,230Токены рассуждений…
70,193Токены рассуждений…
Время ответа (среднее)
33.11sВремя ответа (среднее)…
29.67sВремя ответа (среднее)…
14.98sВремя ответа (среднее)…
Время ответа (макс.)
491.85sВремя ответа (макс.)…
381.11sВремя ответа (макс.)…
54.92sВремя ответа (макс.)…
Время ответа (суммарно)
761.52sВремя ответа (суммарно)…
682.42sВремя ответа (суммарно)…
344.60sВремя ответа (суммарно)…
Параметры
~2T всего (~150B активных)
~2T всего (~150B активных)
~1T всего (~100B активных)
Доступность
Закрытая модель
Закрытая модель
Закрытая модель
Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.
Генерация showcase моделей
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)58.86sВремя ответа (макс.)58.86sВремя ответа (суммарно)58.86sТест считается полностью пройденным, только если все его прогоны успешны.…
58.86sВремя ответа (среднее)…
96,480Общее число входных токенов…
829Выходные токены…
1,934Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)56.73sВремя ответа (макс.)56.73sВремя ответа (суммарно)56.73sТест считается полностью пройденным, только если все его прогоны успешны.…
56.73sВремя ответа (среднее)…
91,069Общее число входных токенов…
810Выходные токены…
2,102Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)54.92sВремя ответа (макс.)54.92sВремя ответа (суммарно)54.92sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.86sВремя ответа (макс.)5.07sВремя ответа (суммарно)15.45sТест считается полностью пройденным, только если все его прогоны успешны.…
3.86sВремя ответа (среднее)…
606Общее число входных токенов…
164Выходные токены…
886Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.71sВремя ответа (макс.)5.18sВремя ответа (суммарно)14.85sТест считается полностью пройденным, только если все его прогоны успешны.…
3.71sВремя ответа (среднее)…
606Общее число входных токенов…
170Выходные токены…
971Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.21sВремя ответа (макс.)5.12sВремя ответа (суммарно)16.83sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)10.65sВремя ответа (макс.)15.30sВремя ответа (суммарно)31.95sТест считается полностью пройденным, только если все его прогоны успешны.…
10.65sВремя ответа (среднее)…
7,302Общее число входных токенов…
393Выходные токены…
4,483Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)8.27sВремя ответа (макс.)11.08sВремя ответа (суммарно)24.81sТест считается полностью пройденным, только если все его прогоны успешны.…
8.27sВремя ответа (среднее)…
7,302Общее число входных токенов…
396Выходные токены…
4,031Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
8.2Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
88.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Лишнее форматирование: 1Время ответа (среднее)11.90sВремя ответа (макс.)15.48sВремя ответа (суммарно)35.70sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)34.38sВремя ответа (макс.)52.09sВремя ответа (суммарно)68.76sТест считается полностью пройденным, только если все его прогоны успешны.…
34.38sВремя ответа (среднее)…
56,024Общее число входных токенов…
3,244Выходные токены…
8,146Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)41.20sВремя ответа (макс.)63.24sВремя ответа (суммарно)82.41sТест считается полностью пройденным, только если все его прогоны успешны.…
41.20sВремя ответа (среднее)…
56,454Общее число входных токенов…
3,461Выходные токены…
9,960Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
8.7Средний балл по всем бенчмарк-тестам.…
6.9Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
83.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Недопустимый вызов инструмента: 1Время ответа (среднее)30.37sВремя ответа (макс.)37.90sВремя ответа (суммарно)60.75sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.88sВремя ответа (макс.)3.21sВремя ответа (суммарно)5.76sТест считается полностью пройденным, только если все его прогоны успешны.…
2.88sВремя ответа (среднее)…
7,140Общее число входных токенов…
234Выходные токены…
343Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.34sВремя ответа (макс.)3.64sВремя ответа (суммарно)6.69sТест считается полностью пройденным, только если все его прогоны успешны.…
3.34sВремя ответа (среднее)…
7,140Общее число входных токенов…
234Выходные токены…
365Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.96sВремя ответа (макс.)6.16sВремя ответа (суммарно)9.92sТест считается полностью пройденным, только если все его прогоны успешны.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)177.33sВремя ответа (макс.)491.85sВремя ответа (суммарно)532.00sТест считается полностью пройденным, только если все его прогоны успешны.…
177.33sВремя ответа (среднее)…
732Общее число входных токенов…
68Выходные токены…
76,624Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
7.6Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)146.97sВремя ответа (макс.)381.11sВремя ответа (суммарно)440.90sТест считается полностью пройденным, только если все его прогоны успешны.…
146.97sВремя ответа (среднее)…
732Общее число входных токенов…
68Выходные токены…
61,252Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
2.9Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
11.1%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 3Время ответа (среднее)35.33sВремя ответа (макс.)54.91sВремя ответа (суммарно)106.00sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)8.78sВремя ответа (макс.)8.78sВремя ответа (суммарно)8.78sТест считается полностью пройденным, только если все его прогоны успешны.…
8.78sВремя ответа (среднее)…
477Общее число входных токенов…
113Выходные токены…
983Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)7.68sВремя ответа (макс.)7.68sВремя ответа (суммарно)7.68sТест считается полностью пройденным, только если все его прогоны успешны.…
7.68sВремя ответа (среднее)…
477Общее число входных токенов…
124Выходные токены…
870Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
6.5Средний балл по всем бенчмарк-тестам.…
3.4Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)9.10sВремя ответа (макс.)9.10sВремя ответа (суммарно)9.10sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.78sВремя ответа (макс.)4.32sВремя ответа (суммарно)7.56sТест считается полностью пройденным, только если все его прогоны успешны.…
3.78sВремя ответа (среднее)…
660Общее число входных токенов…
93Выходные токены…
654Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.91sВремя ответа (макс.)5.08sВремя ответа (суммарно)9.82sТест считается полностью пройденным, только если все его прогоны успешны.…
4.91sВремя ответа (среднее)…
660Общее число входных токенов…
93Выходные токены…
752Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.58sВремя ответа (макс.)4.79sВремя ответа (суммарно)9.15sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.87sВремя ответа (макс.)6.32sВремя ответа (суммарно)14.62sТест считается полностью пройденным, только если все его прогоны успешны.…
4.87sВремя ответа (среднее)…
642Общее число входных токенов…
212Выходные токены…
1,084Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.48sВремя ответа (макс.)5.60sВремя ответа (суммарно)13.44sТест считается полностью пройденным, только если все его прогоны успешны.…
4.48sВремя ответа (среднее)…
642Общее число входных токенов…
215Выходные токены…
1,072Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.88sВремя ответа (макс.)5.32sВремя ответа (суммарно)14.63sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)10.29sВремя ответа (макс.)10.29sВремя ответа (суммарно)10.29sТест считается полностью пройденным, только если все его прогоны успешны.…
10.29sВремя ответа (среднее)…
5,454Общее число входных токенов…
260Выходные токены…
842Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)11.04sВремя ответа (макс.)11.04sВремя ответа (суммарно)11.04sТест считается полностью пройденным, только если все его прогоны успешны.…
11.04sВремя ответа (среднее)…
5,454Общее число входных токенов…
264Выходные токены…
1,051Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)10.29sВремя ответа (макс.)10.29sВремя ответа (суммарно)10.29sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)7.51sВремя ответа (макс.)7.51sВремя ответа (суммарно)7.51sТест считается полностью пройденным, только если все его прогоны успешны.…
7.51sВремя ответа (среднее)…
195Общее число входных токенов…
30Выходные токены…
863Токены рассуждений…
GPT-6 AstraАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)14.06sВремя ответа (макс.)14.06sВремя ответа (суммарно)14.06sТест считается полностью пройденным, только если все его прогоны успешны.…
14.06sВремя ответа (среднее)…
195Общее число входных токенов…
30Выходные токены…
1,804Токены рассуждений…
Claude Sonnet 5.5Архивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет ответа: 1Время ответа (среднее)17.31sВремя ответа (макс.)17.31sВремя ответа (суммарно)17.31sТест считается полностью пройденным, только если все его прогоны успешны.…