| Анти-ИИ уловки | Тест считается полностью пройденным, только если все его повторы успешны. Неверный ответ: 3 Время ответа (среднее) 11378ms Время ответа (макс.) 11378ms Время ответа (суммарно) 11378ms Тест считается полностью пройденным, только если все его повторы успешны. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 0.0% 0.0% 100.0% | 2.67 Средний балл по всем бенчмарк-тестам. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 2.67 Z.ai: GLM 4.7 Flash - Без рассуждения 1.00 1.00 10.00 | 7.86 Оценка стабильности отражает устойчивость между повторами (10 = очень стабильно, даже если стабильно неверно). Ранг: #20/29 32% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 7.86 Anthropic: Claude Opus 4.6 - Рассуждение (medium) 4.41 4.41 10.00 | 11.1% Доля успешных попыток = успешные попытки / все попытки по всем повторам. Ранг: #26/29 11% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 11.1% xAI: Grok 4.1 Fast - Без рассуждения 0.0% 0.0% 100.0% | 1 Нестабильные тесты имели смешанные результаты между повторами (как минимум один успех и один провал). Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 0 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Pro Preview - Рассуждение (medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 0 Google: Gemini 3 Flash Preview - Рассуждение (low) 0 MoonshotAI: Kimi K2.5 - Без рассуждения 1 Anthropic: Claude Opus 4.6 - Рассуждение (medium) 2 0 2 | - Измеряет ясность, эффективность и согласованность рассуждений независимо от корректности итогового ответа. Ранг: #19/19 0% Anthropic: Claude Opus 4.6 - Рассуждение (medium) 10.00 OpenAI: gpt-oss-120b - Рассуждение (medium) 10.00 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 9.89 Z.ai: GLM 5 - Рассуждение (medium) 9.83 StepFun: Step 3.5 Flash - Рассуждение (medium) 9.83 Qwen: Qwen3 Coder Next - Рассуждение (medium) 4.00 4.00 10.00 | 11378ms | $0.00121 Общая стоимость Ранг: #11/29 64% StepFun: Step 3.5 Flash - Рассуждение (medium) $0.00000 OpenAI: GPT-4o-mini - Без рассуждения $0.00018 Z.ai: GLM 4.7 Flash - Без рассуждения $0.00020 Xiaomi: MiMo-V2-Flash - Без рассуждения $0.00024 xAI: Grok 4.1 Fast - Без рассуждения $0.00049 MoonshotAI: Kimi K2.5 - Без рассуждения $0.00121 Anthropic: Claude Opus 4.6 - Рассуждение (medium) $0.05049 $0.00000 $0.05049 |
| Парсинг и извлечение данных | Тест считается полностью пройденным, только если все его повторы успешны. Неверный ответ: 1 Время ответа (среднее) 0ms Время ответа (макс.) 0ms Время ответа (суммарно) 0ms Тест считается полностью пройденным, только если все его повторы успешны. Ранг: #25/29 14% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 50.0% Z.ai: GLM 4.7 Flash - Без рассуждения 0.0% 0.0% 100.0% | 5.50 Средний балл по всем бенчмарк-тестам. Ранг: #23/29 21% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 5.50 Z.ai: GLM 4.7 Flash - Без рассуждения 0.50 0.50 10.00 | 5.81 Оценка стабильности отражает устойчивость между повторами (10 = очень стабильно, даже если стабильно неверно). Ранг: #26/29 11% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 5.81 Z.ai: GLM 5 - Рассуждение (medium) 5.56 5.56 10.00 | 83.3% Доля успешных попыток = успешные попытки / все попытки по всем повторам. Ранг: #23/29 21% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 83.3% Xiaomi: MiMo-V2-Flash - Без рассуждения 16.7% 0.0% 100.0% | 1 Нестабильные тесты имели смешанные результаты между повторами (как минимум один успех и один провал). Ранг: #27/29 7% Google: Gemini 3 Flash Preview - Рассуждение (medium) 0 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Pro Preview - Рассуждение (medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 0 Google: Gemini 3 Flash Preview - Рассуждение (low) 0 MoonshotAI: Kimi K2.5 - Без рассуждения 1 Z.ai: GLM 5 - Рассуждение (medium) 1 0 1 | - Измеряет ясность, эффективность и согласованность рассуждений независимо от корректности итогового ответа. Ранг: #19/19 0% OpenAI: gpt-oss-120b - Рассуждение (medium) 10.00 Z.ai: GLM 4.7 Flash - Рассуждение (medium) 9.87 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 9.83 Anthropic: Claude Opus 4.6 - Рассуждение (medium) 9.83 Z.ai: GLM 5 - Рассуждение (medium) 9.80 OpenAI: GPT-5.3-Codex - Рассуждение (medium) 1.25 1.25 10.00 | 0ms | $0.00455 Общая стоимость Ранг: #16/29 46% StepFun: Step 3.5 Flash - Рассуждение (medium) $0.00000 Xiaomi: MiMo-V2-Flash - Рассуждение (medium) $0.00029 Xiaomi: MiMo-V2-Flash - Без рассуждения $0.00029 Z.ai: GLM 4.7 Flash - Без рассуждения $0.00050 OpenAI: gpt-oss-120b - Рассуждение (medium) $0.00052 MoonshotAI: Kimi K2.5 - Без рассуждения $0.00455 Anthropic: Claude Opus 4.6 - Рассуждение (medium) $0.07755 $0.00000 $0.07755 |
| Предметно-ориентированное | Тест считается полностью пройденным, только если все его повторы успешны. Неверный ответ: 2 Время ответа (среднее) 0ms Время ответа (макс.) 0ms Время ответа (суммарно) 0ms Тест считается полностью пройденным, только если все его повторы успешны. Ранг: #16/29 46% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 66.7% Google: Gemini 3 Flash Preview - Без рассуждения 66.7% Anthropic: Claude Sonnet 4.6 - Без рассуждения 66.7% Z.ai: GLM 4.7 Flash - Без рассуждения 66.7% MoonshotAI: Kimi K2.5 - Без рассуждения 33.3% Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 0.0% 0.0% 100.0% | 4.00 Средний балл по всем бенчмарк-тестам. Ранг: #16/29 46% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 7.00 Google: Gemini 3 Flash Preview - Без рассуждения 7.00 Anthropic: Claude Sonnet 4.6 - Без рассуждения 7.00 Z.ai: GLM 4.7 Flash - Без рассуждения 7.00 MoonshotAI: Kimi K2.5 - Без рассуждения 4.00 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 1.00 1.00 10.00 | 10.00 Оценка стабильности отражает устойчивость между повторами (10 = очень стабильно, даже если стабильно неверно). Ранг: #10/29 68% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Без рассуждения 10.00 Anthropic: Claude Sonnet 4.6 - Без рассуждения 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 4.41 4.41 10.00 | 33.3% Доля успешных попыток = успешные попытки / все попытки по всем повторам. Ранг: #21/29 29% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 66.7% Google: Gemini 3 Flash Preview - Без рассуждения 66.7% Anthropic: Claude Sonnet 4.6 - Без рассуждения 66.7% Z.ai: GLM 4.7 Flash - Без рассуждения 66.7% MoonshotAI: Kimi K2.5 - Без рассуждения 33.3% Z.ai: GLM 5 - Без рассуждения 0.0% 0.0% 100.0% | 0 Нестабильные тесты имели смешанные результаты между повторами (как минимум один успех и один провал). Ранг: #10/29 68% Google: Gemini 3 Flash Preview - Рассуждение (medium) 0 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Flash Preview - Без рассуждения 0 Anthropic: Claude Sonnet 4.6 - Без рассуждения 0 MoonshotAI: Kimi K2.5 - Без рассуждения 0 Google: Gemini 3 Flash Preview - Рассуждение (low) 2 0 2 | - Измеряет ясность, эффективность и согласованность рассуждений независимо от корректности итогового ответа. Ранг: #19/19 0% Xiaomi: MiMo-V2-Flash - Рассуждение (medium) 8.72 OpenAI: gpt-oss-120b - Рассуждение (medium) 8.53 StepFun: Step 3.5 Flash - Рассуждение (medium) 8.44 Z.ai: GLM 5 - Рассуждение (medium) 8.43 Z.ai: GLM 4.7 Flash - Рассуждение (medium) 8.21 OpenAI: GPT-5.3-Codex - Рассуждение (medium) 1.00 1.00 8.72 | 0ms | $0.00027 Общая стоимость Ранг: #8/29 75% StepFun: Step 3.5 Flash - Рассуждение (medium) $0.00000 Z.ai: GLM 4.7 Flash - Без рассуждения $0.00005 Xiaomi: MiMo-V2-Flash - Без рассуждения $0.00008 Qwen: Qwen3 Coder Next - Без рассуждения $0.00010 Qwen: Qwen3 Coder Next - Рассуждение (medium) $0.00010 MoonshotAI: Kimi K2.5 - Без рассуждения $0.00027 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) $0.64205 $0.00000 $0.64205 |
| Следование инструкциям | Тест считается полностью пройденным, только если все его повторы успешны. Неверный ответ: 1 Время ответа (среднее) 0ms Время ответа (макс.) 0ms Время ответа (суммарно) 0ms Тест считается полностью пройденным, только если все его повторы успешны. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% OpenAI: GPT-5.2 - Рассуждение (medium) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 50.0% xAI: Grok 4.1 Fast - Без рассуждения 0.0% 0.0% 100.0% | 5.00 Средний балл по всем бенчмарк-тестам. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 10.00 Z.ai: GLM 5 - Без рассуждения 10.00 OpenAI: gpt-oss-120b - Рассуждение (medium) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 5.00 xAI: Grok 4.1 Fast - Без рассуждения 1.00 1.00 10.00 | 9.99 Оценка стабильности отражает устойчивость между повторами (10 = очень стабильно, даже если стабильно неверно). Ранг: #20/29 32% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 OpenAI: GPT-5.3-Codex - Рассуждение (medium) 10.00 OpenAI: GPT-5.2 - Рассуждение (medium) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 9.99 Xiaomi: MiMo-V2-Flash - Рассуждение (medium) 5.80 5.80 10.00 | 50.0% Доля успешных попыток = успешные попытки / все попытки по всем повторам. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% OpenAI: GPT-5.2 - Рассуждение (medium) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 50.0% xAI: Grok 4.1 Fast - Без рассуждения 0.0% 0.0% 100.0% | 0 Нестабильные тесты имели смешанные результаты между повторами (как минимум один успех и один провал). Ранг: #19/29 36% Google: Gemini 3 Flash Preview - Рассуждение (medium) 0 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Pro Preview - Рассуждение (medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 0 Google: Gemini 3 Flash Preview - Рассуждение (low) 0 MoonshotAI: Kimi K2.5 - Без рассуждения 0 Google: Gemini 3 Flash Preview - Без рассуждения 1 0 1 | - Измеряет ясность, эффективность и согласованность рассуждений независимо от корректности итогового ответа. Ранг: #19/19 0% Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 10.00 Z.ai: GLM 5 - Рассуждение (medium) 9.75 StepFun: Step 3.5 Flash - Рассуждение (medium) 9.67 Anthropic: Claude Opus 4.6 - Рассуждение (medium) 9.50 OpenAI: gpt-oss-120b - Рассуждение (medium) 9.50 OpenAI: GPT-5.3-Codex - Рассуждение (medium) 1.00 1.00 10.00 | 0ms | $0.00035 Общая стоимость Ранг: #7/29 79% StepFun: Step 3.5 Flash - Рассуждение (medium) $0.00000 Z.ai: GLM 4.7 Flash - Без рассуждения $0.00006 Xiaomi: MiMo-V2-Flash - Без рассуждения $0.00008 Qwen: Qwen3 Coder Next - Без рассуждения $0.00013 Qwen: Qwen3 Coder Next - Рассуждение (medium) $0.00014 MoonshotAI: Kimi K2.5 - Без рассуждения $0.00035 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) $0.03134 $0.00000 $0.03134 |
| Puzzle Solving | Тест считается полностью пройденным, только если все его повторы успешны. Неверный ответ: 2 Не соблюдены инструкции: 1 Время ответа (среднее) 0ms Время ответа (макс.) 0ms Время ответа (суммарно) 0ms Тест считается полностью пройденным, только если все его повторы успешны. Ранг: #24/29 18% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 0.0% StepFun: Step 3.5 Flash - Рассуждение (medium) 0.0% 0.0% 100.0% | 2.00 Средний балл по всем бенчмарк-тестам. Ранг: #23/29 21% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 2.00 Xiaomi: MiMo-V2-Flash - Рассуждение (medium) 1.00 1.00 10.00 | 9.92 Оценка стабильности отражает устойчивость между повторами (10 = очень стабильно, даже если стабильно неверно). Ранг: #14/29 54% Google: Gemini 3 Flash Preview - Рассуждение (medium) 10.00 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 10.00 Google: Gemini 3 Pro Preview - Рассуждение (medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 10.00 Google: Gemini 3 Flash Preview - Рассуждение (low) 10.00 MoonshotAI: Kimi K2.5 - Без рассуждения 9.92 MiniMax: MiniMax M2.5 - Рассуждение (medium) 4.79 4.79 10.00 | 0.0% Доля успешных попыток = успешные попытки / все попытки по всем повторам. Ранг: #26/29 11% Google: Gemini 3 Flash Preview - Рассуждение (medium) 100.0% Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 100.0% Google: Gemini 3 Pro Preview - Рассуждение (medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 100.0% Google: Gemini 3 Flash Preview - Рассуждение (low) 100.0% MoonshotAI: Kimi K2.5 - Без рассуждения 0.0% OpenAI: GPT-4o-mini - Без рассуждения 0.0% 0.0% 100.0% | 0 Нестабильные тесты имели смешанные результаты между повторами (как минимум один успех и один провал). Ранг: #14/29 54% Google: Gemini 3 Flash Preview - Рассуждение (medium) 0 Google: Gemini 3.1 Pro Preview - Рассуждение (medium) 0 Google: Gemini 3 Pro Preview - Рассуждение (medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) 0 Google: Gemini 3 Flash Preview - Рассуждение (low) 0 MoonshotAI: Kimi K2.5 - Без рассуждения 0 OpenAI: GPT-5 Nano - Рассуждение (medium) 2 0 2 | - Измеряет ясность, эффективность и согласованность рассуждений независимо от корректности итогового ответа. Ранг: #19/19 0% Z.ai: GLM 5 - Рассуждение (medium) 9.50 Anthropic: Claude Sonnet 4.6 - Рассуждение (medium) 9.44 Anthropic: Claude Opus 4.6 - Рассуждение (medium) 9.44 MoonshotAI: Kimi K2.5 - Рассуждение (medium) 9.26 StepFun: Step 3.5 Flash - Рассуждение (medium) 9.22 Qwen: Qwen3 Coder Next - Рассуждение (medium) 4.33 4.33 9.50 | 0ms | $0.00090 Общая стоимость Ранг: #9/29 71% StepFun: Step 3.5 Flash - Рассуждение (medium) $0.00000 Z.ai: GLM 4.7 Flash - Без рассуждения $0.00008 OpenAI: GPT-4o-mini - Без рассуждения $0.00028 xAI: Grok 4.1 Fast - Без рассуждения $0.00053 Qwen: Qwen3 Coder Next - Рассуждение (medium) $0.00058 MoonshotAI: Kimi K2.5 - Без рассуждения $0.00090 Qwen: Qwen3.5 Plus 2026-02-15 - Рассуждение (medium) $0.05508 $0.00000 $0.05508 |