Qwen3.8 27B (high) vs Inkling 2 Mini (local Q4) (minimal)
Средний балл практически равен: 8.7 vs 8.7. Inkling 2 Mini (local Q4) (minimal) имеет более низкую стоимость benchmark: ~$0.206 vs ~$0.298. Inkling 2 Mini (local Q4) (minimal) быстрее: 108.28s vs 166.34s, с долей успешных попыток 78.3% vs 73.9%.
Бенчмарки сгенерированы из тестовых наборов AI BENCHY в:
2026-11-22
Сравниваемые модели
Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
Ранг
#104
Общее число выходных токенов
677,080
Время ответа (среднее)
166.34s
Общая стоимость
~$0.298Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
Ранг
#108
Общее число выходных токенов
219,084
Время ответа (среднее)
108.28s
Общая стоимость
~$0.206Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 2.0753 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.205185.
Рекомендуемая модельInkling 2 Mini (local Q4) (minimal)
Здесь у него лучший балл (8.7), и он отвечает примерно в 1.5 раза быстрее, чем Qwen3.8 27B (high).
Подробное сравнение
Метрика
Qwen3.8 27BQwen3.8 27BhighОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.Релиз: 2026-08-14Бесплатно доступно
Inkling 2 Mini (local Q4)Inkling 2 Mini (local Q4)minimalОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.Релиз: 2026-11-20
Метрика
Qwen3.8 27BQwen3.8 27BhighОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.Релиз: 2026-08-14Бесплатно доступно
Inkling 2 Mini (local Q4)Inkling 2 Mini (local Q4)minimalОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.Релиз: 2026-11-20
Оценка
8.7Средний балл по всем бенчмарк-тестам.…
8.7Средний балл по всем бенчмарк-тестам.…
Ранг
#104
#108
Надежность
9.7Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
9.8Оценка успеха с первой попытки: 10.0 означает отсутствие повторяемых сбоев целевого API или лимитов до успешных вызовов; зафиксированные сбои снижают оценку.…
Стабильность
9.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
Попытки
69/69
69/69
Тестов верно
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 2Нет ответа: 2Неверный ответ: 2Время ответа (среднее)166.34sВремя ответа (макс.)640.85sВремя ответа (суммарно)3825.81sТест считается полностью пройденным, только если все его прогоны успешны.…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 4Не соблюдены инструкции: 1Недопустимый вызов инструмента: 1Время ответа (среднее)108.28sВремя ответа (макс.)1322.88sВремя ответа (суммарно)2490.37sТест считается полностью пройденным, только если все его прогоны успешны.…
Доля успешных попыток
78.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
73.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
Нестабильные тесты
2Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Всего запусков
69Всего запусков…
69Всего запусков…
Стоимость за результат
~1.751Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
~1.207Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 2.0753 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.205185.
Общая стоимость
~$0.298Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
~$0.206Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 2.0753 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.205185.
Цена входа
Н/ДЦена входа…
Н/ДЦена входа…
Цена выхода
Н/ДЦена выхода…
Н/ДЦена выхода…
Цена чтения из кэша
Н/ДЦена чтения из кэша…
Н/ДЦена чтения из кэша…
Цена записи в кэш
Н/ДЦена записи в кэш…
Н/ДЦена записи в кэш…
Общее число входных токенов
348,967Общее число входных токенов…
309,808Общее число входных токенов…
Выходные токены
1,005Выходные токены…
1,579Выходные токены…
Токены рассуждений
676,075Токены рассуждений…
217,505Токены рассуждений…
Время ответа (среднее)
166.34sВремя ответа (среднее)…
108.28sВремя ответа (среднее)…
Время ответа (макс.)
640.85sВремя ответа (макс.)…
1322.88sВремя ответа (макс.)…
Время ответа (суммарно)
3825.81sВремя ответа (суммарно)…
2490.37sВремя ответа (суммарно)…
Параметры
27.3B
26.4B всего (3.4B активных)
Доступность
Веса доступны
Открытый исходный код
Цены кэша относятся к входным токенам. Чтение повторно использует сохранённые запросы; запись сохраняет их и может стоить дороже. Выходные токены оплачиваются по цене вывода.
Генерация showcase моделей
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#104 Qwen3.8 27B
highОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
Стоимость
~$0.008Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0750 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.007419.
Время
270.1s
Токены
18,963 tok
#108 Thinking Machines: Inkling 2 Mini (local Q4)
minimalОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
Стоимость
~$0.002Оценка учитывает только электроэнергию для GPU. Остальная часть компьютера и покупка оборудования не учитываются. NVIDIA GeForce RTX 3090: 0.0188 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.001862.
Время
67.8s
Токены
2,348 tok
Ранг
-
Стоимость
-
Время
-
Токены
-
Лучшие модели по оценке
Оценка vs общая стоимость
Время ответа (среднее)
Оценка vs Время ответа (среднее)
Общее число выходных токенов
Оценка vs Общее число выходных токенов
Разбивка по категориям
Агентные задачи
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)132.27sВремя ответа (макс.)132.27sВремя ответа (суммарно)132.27sТест считается полностью пройденным, только если все его прогоны успешны.…
132.27sВремя ответа (среднее)…
248,788Общее число входных токенов…
101Выходные токены…
20,344Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)59.04sВремя ответа (макс.)59.04sВремя ответа (суммарно)59.04sТест считается полностью пройденным, только если все его прогоны успешны.…
59.04sВремя ответа (среднее)…
138,010Общее число входных токенов…
121Выходные токены…
3,216Токены рассуждений…
Анти-ИИ уловки
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)8.10sВремя ответа (макс.)21.48sВремя ответа (суммарно)32.40sТест считается полностью пройденным, только если все его прогоны успешны.…
8.10sВремя ответа (среднее)…
1,128Общее число входных токенов…
114Выходные токены…
5,319Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)6.20sВремя ответа (макс.)10.50sВремя ответа (суммарно)24.78sТест считается полностью пройденным, только если все его прогоны успешны.…
6.20sВремя ответа (среднее)…
732Общее число входных токенов…
234Выходные токены…
3,168Токены рассуждений…
Программирование
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
8.1Средний балл по всем бенчмарк-тестам.…
7.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
88.9%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)248.62sВремя ответа (макс.)458.25sВремя ответа (суммарно)745.85sТест считается полностью пройденным, только если все его прогоны успешны.…
248.62sВремя ответа (среднее)…
8,235Общее число входных токенов…
346Выходные токены…
143,335Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)225.36sВремя ответа (макс.)477.83sВремя ответа (суммарно)676.09sТест считается полностью пройденным, только если все его прогоны успешны.…
225.36sВремя ответа (среднее)…
8,814Общее число входных токенов…
512Выходные токены…
47,862Токены рассуждений…
Комбинированный
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)185.57sВремя ответа (макс.)333.21sВремя ответа (суммарно)371.15sТест считается полностью пройденным, только если все его прогоны успешны.…
185.57sВремя ответа (среднее)…
68,997Общее число входных токенов…
66Выходные токены…
72,556Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
6.4Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
50.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Недопустимый вызов инструмента: 1Время ответа (среднее)671.08sВремя ответа (макс.)1322.88sВремя ответа (суммарно)1342.15sТест считается полностью пройденным, только если все его прогоны успешны.…
671.08sВремя ответа (среднее)…
140,238Общее число входных токенов…
52Выходные токены…
117,641Токены рассуждений…
Парсинг и извлечение данных
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)34.85sВремя ответа (макс.)57.71sВремя ответа (суммарно)69.71sТест считается полностью пройденным, только если все его прогоны успешны.…
34.85sВремя ответа (среднее)…
9,675Общее число входных токенов…
123Выходные токены…
10,320Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)28.12sВремя ответа (макс.)35.26sВремя ответа (суммарно)56.25sТест считается полностью пройденным, только если все его прогоны успешны.…
28.12sВремя ответа (среднее)…
9,657Общее число входных токенов…
204Выходные токены…
5,349Токены рассуждений…
Предметно-ориентированное
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
5.3Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет ответа: 1Неверный ответ: 1Время ответа (среднее)526.74sВремя ответа (макс.)640.85sВремя ответа (суммарно)1580.21sТест считается полностью пройденным, только если все его прогоны успешны.…
526.74sВремя ответа (среднее)…
975Общее число входных токенов…
6Выходные токены…
234,555Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
7.7Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
66.7%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)88.16sВремя ответа (макс.)147.25sВремя ответа (суммарно)264.48sТест считается полностью пройденным, только если все его прогоны успешны.…
88.16sВремя ответа (среднее)…
825Общее число входных токенов…
12Выходные токены…
31,686Токены рассуждений…
Общий интеллект
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
5.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Время ответа (среднее)8.45sВремя ответа (макс.)8.45sВремя ответа (суммарно)8.45sТест считается полностью пройденным, только если все его прогоны успешны.…
8.45sВремя ответа (среднее)…
630Общее число входных токенов…
63Выходные токены…
1,191Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
5.3Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)6.44sВремя ответа (макс.)6.44sВремя ответа (суммарно)6.44sТест считается полностью пройденным, только если все его прогоны успешны.…
6.44sВремя ответа (среднее)…
558Общее число входных токенов…
96Выходные токены…
789Токены рассуждений…
Следование инструкциям
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
9.8Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)8.24sВремя ответа (макс.)10.18sВремя ответа (суммарно)16.49sТест считается полностью пройденным, только если все его прогоны успешны.…
8.24sВремя ответа (среднее)…
927Общее число входных токенов…
42Выходные токены…
2,871Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
9.8Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)5.25sВремя ответа (макс.)5.70sВремя ответа (суммарно)10.49sТест считается полностью пройденным, только если все его прогоны успешны.…
5.25sВремя ответа (среднее)…
738Общее число входных токенов…
45Выходные токены…
1,323Токены рассуждений…
Решение головоломок
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
7.6Средний балл по всем бенчмарк-тестам.…
7.2Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
77.8%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
1Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет ответа: 1Время ответа (среднее)199.90sВремя ответа (макс.)569.33sВремя ответа (суммарно)599.69sТест считается полностью пройденным, только если все его прогоны успешны.…
199.90sВремя ответа (среднее)…
1,038Общее число входных токенов…
120Выходные токены…
138,427Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
6.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
33.3%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Не соблюдены инструкции: 1Неверный ответ: 1Время ответа (среднее)7.32sВремя ответа (макс.)7.68sВремя ответа (суммарно)21.96sТест считается полностью пройденным, только если все его прогоны успешны.…
7.32sВремя ответа (среднее)…
756Общее число входных токенов…
270Выходные токены…
2,652Токены рассуждений…
Вызов инструментов
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)5.62sВремя ответа (макс.)5.62sВремя ответа (суммарно)5.62sТест считается полностью пройденным, только если все его прогоны успешны.…
5.62sВремя ответа (среднее)…
8,256Общее число входных токенов…
21Выходные токены…
912Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
10.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
100.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Нет проваленных ответов.Время ответа (среднее)7.52sВремя ответа (макс.)7.52sВремя ответа (суммарно)7.52sТест считается полностью пройденным, только если все его прогоны успешны.…
7.52sВремя ответа (среднее)…
9,264Общее число входных токенов…
27Выходные токены…
813Токены рассуждений…
Эрудиция
Оценка
Стабильность
Доля успешных попыток
Нестабильные тесты
Тестов верно
Время ответа (среднее)
Входные токены
Выходные токены
Токены рассуждений
Qwen3.8 27BОтветы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)263.98sВремя ответа (макс.)263.98sВремя ответа (суммарно)263.98sТест считается полностью пройденным, только если все его прогоны успешны.…
263.98sВремя ответа (среднее)…
318Общее число входных токенов…
3Выходные токены…
46,245Токены рассуждений…
Inkling 2 Mini (local Q4)Ответы модели-кандидата созданы на локальном оборудовании. OpenRouter использовался только для оценки. inkling-2-mini-ud-q4_k_xl · UD-Q4_K_XL · llama.cpp b12631-e300919cc · NVIDIA GeForce RTX 3090.
3.0Средний балл по всем бенчмарк-тестам.…
10.0Оценка стабильности отражает устойчивость между прогонами (10 = очень стабильно, даже если стабильно неверно).…
0.0%Доля успешных попыток = успешные попытки / все попытки по всем прогонам.…
0Нестабильные тесты имели смешанные результаты между прогонами (как минимум один успех и один провал).…
Тест считается полностью пройденным, только если все его прогоны успешны.Неверный ответ: 1Время ответа (среднее)21.18sВремя ответа (макс.)21.18sВремя ответа (суммарно)21.18sТест считается полностью пройденным, только если все его прогоны успешны.…