Google: Gemini 3.5 Flash vs StepFun: Step 3.5 Flash
Сводка
Сравнение benchmark Gemini 3.5 Flash (high) vs Step 3.5 Flash: Gemini 3.5 Flash (high) лидирует по среднему баллу: 9.8 vs 2.6. Step 3.5 Flash имеет более низкую стоимость benchmark: $0.020 vs $1.115. Gemini 3.5 Flash (high) быстрее: 8.84s vs 39.03s, с долей успешных попыток 96.8% vs 28.6%.
Рекомендуемая модель: Gemini 3.5 Flash (high) - Здесь у него лучший балл (9.8), и он отвечает примерно в 4.4 раза быстрее, чем Step 3.5 Flash.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в: 2026-07-09
Step 3.5 FlashStep 3.5 FlashnoneАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.Релиз: 2026-02-01
Оценка
9.8Средний балл по всем бенчмарк-тестам.…
2.6Средний балл по всем бенчмарк-тестам.…
Ранг
#1
#187
Надежность
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
10.0Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
9.6Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
5.7Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)8.84sВремя ответа (макс.)34.82sВремя ответа (суммарно)185.57sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 4Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)39.03sВремя ответа (макс.)114.12sВремя ответа (суммарно)312.26sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
96.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
28.6%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
63Всего запусков…
36Всего запусков…
Стоимость за результат
5.575Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
0.328Показывает среднюю стоимость одного правильного ответа в бенчмарке в центах (меньше — лучше).…
Общая стоимость
$1.115Общая стоимость (текущая цена)…
$0.020Общая стоимость (текущая цена)…
Цена входа
$1.500 / 1MЦена входа…
$0.100 / 1MЦена входа…
Цена выхода
$9.000 / 1MЦена выхода…
$0.300 / 1MЦена выхода…
Общее число входных токенов
37,594Общее число входных токенов…
1,971Общее число входных токенов…
Выходные токены
1,975Выходные токены…
64,795Выходные токены…
Токены рассуждений
115,638Токены рассуждений…
0Токены рассуждений…
Время ответа (среднее)
8.84sВремя ответа (среднее)…
39.03sВремя ответа (среднее)…
Время ответа (макс.)
34.82sВремя ответа (макс.)…
114.12sВремя ответа (макс.)…
Время ответа (суммарно)
185.57sВремя ответа (суммарно)…
312.26sВремя ответа (суммарно)…
Генерация showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)2.57sВремя ответа (макс.)3.60sВремя ответа (суммарно)10.27sТест считается полностью пройденным, только если все его прогоны успешны.…
2.57sВремя ответа (среднее)…
492Общее число входных токенов…
174Выходные токены…
4,997Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)34.99sВремя ответа (макс.)109.60sВремя ответа (суммарно)139.95sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)22.96sВремя ответа (макс.)34.82sВремя ответа (суммарно)68.88sТест считается полностью пройденным, только если все его прогоны успешны.…
22.96sВремя ответа (среднее)…
8,118Общее число входных токенов…
456Выходные токены…
47,129Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
9.8Средний балл по всем бенчмарк-тестам.…
3.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)22.37sВремя ответа (макс.)22.37sВремя ответа (суммарно)22.37sТест считается полностью пройденным, только если все его прогоны успешны.…
22.37sВремя ответа (среднее)…
12,873Общее число входных токенов…
351Выходные токены…
16,323Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)6.43sВремя ответа (макс.)8.51sВремя ответа (суммарно)12.87sТест считается полностью пройденным, только если все его прогоны успешны.…
6.43sВремя ответа (среднее)…
7,548Общее число входных токенов…
279Выходные токены…
8,466Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
1.5Средний балл по всем бенчмарк-тестам.…
5.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)14.09sВремя ответа (макс.)22.00sВремя ответа (суммарно)42.27sТест считается полностью пройденным, только если все его прогоны успешны.…
14.09sВремя ответа (среднее)…
633Общее число входных токенов…
12Выходные токены…
24,721Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.3Средний балл по всем бенчмарк-тестам.…
3.3Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)34.54sВремя ответа (макс.)34.54sВремя ответа (суммарно)34.54sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.63sВремя ответа (макс.)3.63sВремя ответа (суммарно)3.63sТест считается полностью пройденным, только если все его прогоны успешны.…
3.63sВремя ответа (среднее)…
486Общее число входных токенов…
115Выходные токены…
1,650Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
4.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)14.37sВремя ответа (макс.)14.37sВремя ответа (суммарно)14.37sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.35sВремя ответа (макс.)3.42sВремя ответа (суммарно)6.69sТест считается полностью пройденным, только если все его прогоны успешны.…
3.35sВремя ответа (среднее)…
615Общее число входных токенов…
70Выходные токены…
3,799Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
5.0Средний балл по всем бенчмарк-тестам.…
5.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)9.30sВремя ответа (макс.)9.30sВремя ответа (суммарно)9.30sТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.23sВремя ответа (макс.)3.68sВремя ответа (суммарно)9.69sТест считается полностью пройденным, только если все его прогоны успешны.…
3.23sВремя ответа (среднее)…
558Общее число входных токенов…
241Выходные токены…
4,940Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
0.0Средний балл по всем бенчмарк-тестам.…
0.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)4.96sВремя ответа (макс.)4.96sВремя ответа (суммарно)4.96sТест считается полностью пройденным, только если все его прогоны успешны.…
4.96sВремя ответа (среднее)…
6,115Общее число входных токенов…
265Выходные токены…
1,608Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Ошибка API: 1Время ответа (среднее)0msВремя ответа (макс.)0msВремя ответа (суммарно)0msТест считается полностью пройденным, только если все его прогоны успешны.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)3.94sВремя ответа (макс.)3.94sВремя ответа (суммарно)3.94sТест считается полностью пройденным, только если все его прогоны успешны.…
3.94sВремя ответа (среднее)…
156Общее число входных токенов…
12Выходные токены…
2,005Токены рассуждений…
Step 3.5 FlashАрхивная модель: эта модель больше не обновляется и не тестируется на новых тестах.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)114.12sВремя ответа (макс.)114.12sВремя ответа (суммарно)114.12sТест считается полностью пройденным, только если все его прогоны успешны.…