| 反AIトリック | テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 失敗した回答はありません。 応答時間(平均) 4687ms 応答時間(最大) 6680ms 応答時間(合計) 14061ms テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 100.0% MoonshotAI: Kimi K2.5 - 推論なし 0.0% 0.0% 100.0% | 10.00 全ベンチマークテストの平均スコア。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 10.00 Z.ai: GLM 4.7 Flash - 推論なし 1.00 1.00 10.00 | 10.00 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 10.00 Anthropic: Claude Opus 4.6 - 推論(medium) 4.41 4.41 10.00 | 100.0% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 100.0% xAI: Grok 4.1 Fast - 推論なし 0.0% 0.0% 100.0% | 0 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 0 Google: Gemini 3.1 Pro Preview - 推論(medium) 0 Google: Gemini 3 Pro Preview - 推論(medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論(low) 0 OpenAI: GPT-5.3-Codex - 推論(medium) 0 Anthropic: Claude Opus 4.6 - 推論(medium) 2 0 2 | 6.00 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #15/19 22% Anthropic: Claude Opus 4.6 - 推論(medium) 10.00 OpenAI: gpt-oss-120b - 推論(medium) 10.00 Anthropic: Claude Sonnet 4.6 - 推論(medium) 9.89 Z.ai: GLM 5 - 推論(medium) 9.83 StepFun: Step 3.5 Flash - 推論(medium) 9.83 OpenAI: GPT-5.3-Codex - 推論(medium) 6.00 Qwen: Qwen3 Coder Next - 推論(medium) 4.00 4.00 10.00 | 4687ms | $0.02371 合計コスト 順位: #24/29 18% StepFun: Step 3.5 Flash - 推論(medium) $0.00000 OpenAI: GPT-4o-mini - 推論なし $0.00018 Z.ai: GLM 4.7 Flash - 推論なし $0.00020 Xiaomi: MiMo-V2-Flash - 推論なし $0.00024 xAI: Grok 4.1 Fast - 推論なし $0.00049 OpenAI: GPT-5.3-Codex - 推論(medium) $0.02371 Anthropic: Claude Opus 4.6 - 推論(medium) $0.05049 $0.00000 $0.05049 |
| データ解析と抽出 | テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 失敗した回答はありません。 応答時間(平均) 3180ms 応答時間(最大) 3585ms 応答時間(合計) 6360ms テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 100.0% Z.ai: GLM 4.7 Flash - 推論なし 0.0% 0.0% 100.0% | 10.00 全ベンチマークテストの平均スコア。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 10.00 Z.ai: GLM 4.7 Flash - 推論なし 0.50 0.50 10.00 | 10.00 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 10.00 Z.ai: GLM 5 - 推論(medium) 5.56 5.56 10.00 | 100.0% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 100.0% Xiaomi: MiMo-V2-Flash - 推論なし 16.7% 0.0% 100.0% | 0 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 0 Google: Gemini 3.1 Pro Preview - 推論(medium) 0 Google: Gemini 3 Pro Preview - 推論(medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論(low) 0 OpenAI: GPT-5.3-Codex - 推論(medium) 0 Z.ai: GLM 5 - 推論(medium) 1 0 1 | 1.25 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #19/19 0% OpenAI: gpt-oss-120b - 推論(medium) 10.00 Z.ai: GLM 4.7 Flash - 推論(medium) 9.87 Anthropic: Claude Sonnet 4.6 - 推論(medium) 9.83 Anthropic: Claude Opus 4.6 - 推論(medium) 9.83 Z.ai: GLM 5 - 推論(medium) 9.80 OpenAI: GPT-5.3-Codex - 推論(medium) 1.25 1.25 10.00 | 3180ms | $0.02600 合計コスト 順位: #23/29 21% StepFun: Step 3.5 Flash - 推論(medium) $0.00000 Xiaomi: MiMo-V2-Flash - 推論(medium) $0.00029 Xiaomi: MiMo-V2-Flash - 推論なし $0.00029 Z.ai: GLM 4.7 Flash - 推論なし $0.00050 OpenAI: gpt-oss-120b - 推論(medium) $0.00052 OpenAI: GPT-5.3-Codex - 推論(medium) $0.02600 Anthropic: Claude Opus 4.6 - 推論(medium) $0.07755 $0.00000 $0.07755 |
| ドメイン特化 | テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 不正解: 2 応答時間(平均) 64314ms 応答時間(最大) 100927ms 応答時間(合計) 192942ms テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 順位: #9/29 71% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 66.7% Google: Gemini 3 Flash Preview - 推論なし 66.7% Anthropic: Claude Sonnet 4.6 - 推論なし 66.7% Z.ai: GLM 4.7 Flash - 推論なし 66.7% OpenAI: GPT-5.3-Codex - 推論(medium) 33.3% Anthropic: Claude Sonnet 4.6 - 推論(medium) 0.0% 0.0% 100.0% | 4.00 全ベンチマークテストの平均スコア。 順位: #9/29 71% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 7.00 Google: Gemini 3 Flash Preview - 推論なし 7.00 Anthropic: Claude Sonnet 4.6 - 推論なし 7.00 Z.ai: GLM 4.7 Flash - 推論なし 7.00 OpenAI: GPT-5.3-Codex - 推論(medium) 4.00 Anthropic: Claude Sonnet 4.6 - 推論(medium) 1.00 1.00 10.00 | 7.21 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #15/29 50% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論なし 10.00 Anthropic: Claude Sonnet 4.6 - 推論なし 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 7.21 Google: Gemini 3 Flash Preview - 推論(low) 4.41 4.41 10.00 | 55.6% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 66.7% Google: Gemini 3 Flash Preview - 推論なし 66.7% Anthropic: Claude Sonnet 4.6 - 推論なし 66.7% Z.ai: GLM 4.7 Flash - 推論なし 66.7% OpenAI: GPT-5.3-Codex - 推論(medium) 55.6% Z.ai: GLM 5 - 推論なし 0.0% 0.0% 100.0% | 1 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #15/29 50% Google: Gemini 3 Flash Preview - 推論(medium) 0 Google: Gemini 3.1 Pro Preview - 推論(medium) 0 Google: Gemini 3 Pro Preview - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論なし 0 Anthropic: Claude Sonnet 4.6 - 推論なし 0 OpenAI: GPT-5.3-Codex - 推論(medium) 1 Google: Gemini 3 Flash Preview - 推論(low) 2 0 2 | 1.00 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #19/19 0% Xiaomi: MiMo-V2-Flash - 推論(medium) 8.72 OpenAI: gpt-oss-120b - 推論(medium) 8.53 StepFun: Step 3.5 Flash - 推論(medium) 8.44 Z.ai: GLM 5 - 推論(medium) 8.43 Z.ai: GLM 4.7 Flash - 推論(medium) 8.21 OpenAI: GPT-5.3-Codex - 推論(medium) 1.00 1.00 8.72 | 64314ms | $0.35664 合計コスト 順位: #27/29 7% StepFun: Step 3.5 Flash - 推論(medium) $0.00000 Z.ai: GLM 4.7 Flash - 推論なし $0.00005 Xiaomi: MiMo-V2-Flash - 推論なし $0.00008 Qwen: Qwen3 Coder Next - 推論なし $0.00010 Qwen: Qwen3 Coder Next - 推論(medium) $0.00010 OpenAI: GPT-5.3-Codex - 推論(medium) $0.35664 Anthropic: Claude Sonnet 4.6 - 推論(medium) $0.64205 $0.00000 $0.64205 |
| 指示追従 | テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 指示に従っていない: 1 応答時間(平均) 3037ms 応答時間(最大) 3436ms 応答時間(合計) 6074ms テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 順位: #15/29 50% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% OpenAI: GPT-5.2 - 推論(medium) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 50.0% xAI: Grok 4.1 Fast - 推論なし 0.0% 0.0% 100.0% | 9.00 全ベンチマークテストの平均スコア。 順位: #14/29 54% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Anthropic: Claude Sonnet 4.6 - 推論(medium) 10.00 Z.ai: GLM 5 - 推論なし 10.00 OpenAI: gpt-oss-120b - 推論(medium) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 9.00 xAI: Grok 4.1 Fast - 推論なし 1.00 1.00 10.00 | 10.00 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #4/29 89% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 10.00 OpenAI: GPT-5.2 - 推論(medium) 10.00 Xiaomi: MiMo-V2-Flash - 推論(medium) 5.80 5.80 10.00 | 50.0% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #20/29 32% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% OpenAI: GPT-5.2 - 推論(medium) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 50.0% xAI: Grok 4.1 Fast - 推論なし 0.0% 0.0% 100.0% | 0 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #6/29 82% Google: Gemini 3 Flash Preview - 推論(medium) 0 Google: Gemini 3.1 Pro Preview - 推論(medium) 0 Google: Gemini 3 Pro Preview - 推論(medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論(low) 0 OpenAI: GPT-5.3-Codex - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論なし 1 0 1 | 1.00 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #19/19 0% Anthropic: Claude Sonnet 4.6 - 推論(medium) 10.00 Z.ai: GLM 5 - 推論(medium) 9.75 StepFun: Step 3.5 Flash - 推論(medium) 9.67 Anthropic: Claude Opus 4.6 - 推論(medium) 9.50 OpenAI: gpt-oss-120b - 推論(medium) 9.50 OpenAI: GPT-5.3-Codex - 推論(medium) 1.00 1.00 10.00 | 3037ms | $0.01216 合計コスト 順位: #23/29 21% StepFun: Step 3.5 Flash - 推論(medium) $0.00000 Z.ai: GLM 4.7 Flash - 推論なし $0.00006 Xiaomi: MiMo-V2-Flash - 推論なし $0.00008 Qwen: Qwen3 Coder Next - 推論なし $0.00013 Qwen: Qwen3 Coder Next - 推論(medium) $0.00014 OpenAI: GPT-5.3-Codex - 推論(medium) $0.01216 Google: Gemini 3.1 Pro Preview - 推論(medium) $0.03134 $0.00000 $0.03134 |
| Puzzle Solving | テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 指示に従っていない: 1 応答時間(平均) 4610ms 応答時間(最大) 7191ms 応答時間(合計) 13830ms テストは、その全リピートが合格した場合にのみ完全合格とみなされます。 順位: #8/29 75% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 66.7% StepFun: Step 3.5 Flash - 推論(medium) 0.0% 0.0% 100.0% | 7.00 全ベンチマークテストの平均スコア。 順位: #9/29 71% Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 Anthropic: Claude Sonnet 4.6 - 推論(medium) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 7.00 Xiaomi: MiMo-V2-Flash - 推論(medium) 1.00 1.00 10.00 | 7.38 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #20/29 32% Google: Gemini 3 Flash Preview - 推論(medium) 10.00 Google: Gemini 3.1 Pro Preview - 推論(medium) 10.00 Google: Gemini 3 Pro Preview - 推論(medium) 10.00 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 10.00 Google: Gemini 3 Flash Preview - 推論(low) 10.00 OpenAI: GPT-5.3-Codex - 推論(medium) 7.38 MiniMax: MiniMax M2.5 - 推論(medium) 4.79 4.79 10.00 | 77.8% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #8/29 75% Google: Gemini 3 Flash Preview - 推論(medium) 100.0% Google: Gemini 3.1 Pro Preview - 推論(medium) 100.0% Google: Gemini 3 Pro Preview - 推論(medium) 100.0% Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 100.0% Google: Gemini 3 Flash Preview - 推論(low) 100.0% OpenAI: GPT-5.3-Codex - 推論(medium) 77.8% OpenAI: GPT-4o-mini - 推論なし 0.0% 0.0% 100.0% | 1 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #18/29 39% Google: Gemini 3 Flash Preview - 推論(medium) 0 Google: Gemini 3.1 Pro Preview - 推論(medium) 0 Google: Gemini 3 Pro Preview - 推論(medium) 0 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) 0 Google: Gemini 3 Flash Preview - 推論(low) 0 OpenAI: GPT-5.3-Codex - 推論(medium) 1 OpenAI: GPT-5 Nano - 推論(medium) 2 0 2 | 6.00 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #18/19 6% Z.ai: GLM 5 - 推論(medium) 9.50 Anthropic: Claude Sonnet 4.6 - 推論(medium) 9.44 Anthropic: Claude Opus 4.6 - 推論(medium) 9.44 MoonshotAI: Kimi K2.5 - 推論(medium) 9.26 StepFun: Step 3.5 Flash - 推論(medium) 9.22 OpenAI: GPT-5.3-Codex - 推論(medium) 6.00 Qwen: Qwen3 Coder Next - 推論(medium) 4.33 4.33 9.50 | 4610ms | $0.02559 合計コスト 順位: #25/29 14% StepFun: Step 3.5 Flash - 推論(medium) $0.00000 Z.ai: GLM 4.7 Flash - 推論なし $0.00008 OpenAI: GPT-4o-mini - 推論なし $0.00028 xAI: Grok 4.1 Fast - 推論なし $0.00053 Qwen: Qwen3 Coder Next - 推論(medium) $0.00058 OpenAI: GPT-5.3-Codex - 推論(medium) $0.02559 Qwen: Qwen3.5 Plus 2026-02-15 - 推論(medium) $0.05508 $0.00000 $0.05508 |