| Anti-AI Tricks | 1/2 | 5.50 全ベンチマークテストの平均スコア。 順位: #15/27 46% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 OpenAI: GPT-5.2 10.00 Z.ai: GLM 4.7 Flash 5.50 Anthropic: Claude Sonnet 4.6 1.00 1.00 10.00 | 5.81 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #26/27 4% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 OpenAI: GPT-5.2 10.00 Z.ai: GLM 4.7 Flash 5.81 Anthropic: Claude Opus 4.6 1.62 1.62 10.00 | 66.7% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #13/27 54% Google: Gemini 3 Flash Preview 100.0% Google: Gemini 3.1 Pro Preview 100.0% Google: Gemini 3 Pro Preview 100.0% Qwen: Qwen3.5 Plus 2026-02-15 100.0% OpenAI: GPT-5.2 100.0% Z.ai: GLM 4.7 Flash 66.7% Anthropic: Claude Sonnet 4.6 0.0% 0.0% 100.0% | 1 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #26/27 4% Google: Gemini 3 Flash Preview 0 Google: Gemini 3.1 Pro Preview 0 Google: Gemini 3 Pro Preview 0 Qwen: Qwen3.5 Plus 2026-02-15 0 OpenAI: GPT-5.2 0 Z.ai: GLM 4.7 Flash 1 Anthropic: Claude Opus 4.6 2 0 2 | 9.08 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #9/17 50% OpenAI: gpt-oss-120b 10.00 Anthropic: Claude Opus 4.6 10.00 StepFun: Step 3.5 Flash 10.00 Anthropic: Claude Sonnet 4.6 9.83 MoonshotAI: Kimi K2.5 9.77 Z.ai: GLM 4.7 Flash 9.08 Qwen: Qwen3 Coder Next 1.00 1.00 10.00 | $0.00131 合計コスト 順位: #13/27 54% StepFun: Step 3.5 Flash $0.00000 Z.ai: GLM 4.7 Flash $0.00003 Xiaomi: MiMo-V2-Flash $0.00004 Qwen: Qwen3 Coder Next $0.00005 Qwen: Qwen3 Coder Next $0.00005 Z.ai: GLM 4.7 Flash $0.00131 Anthropic: Claude Opus 4.6 $0.03036 $0.00000 $0.03036 |
| Data parsing and extraction | 2/2 | 10.00 全ベンチマークテストの平均スコア。 順位: #14/27 50% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 OpenAI: GPT-5.2 10.00 Z.ai: GLM 4.7 Flash 10.00 Z.ai: GLM 4.7 Flash 0.50 0.50 10.00 | 10.00 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #15/27 46% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 OpenAI: GPT-5.2 10.00 Z.ai: GLM 4.7 Flash 10.00 Z.ai: GLM 5 5.56 5.56 10.00 | 100.0% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #14/27 50% Google: Gemini 3 Flash Preview 100.0% Google: Gemini 3.1 Pro Preview 100.0% Google: Gemini 3 Pro Preview 100.0% Qwen: Qwen3.5 Plus 2026-02-15 100.0% OpenAI: GPT-5.2 100.0% Z.ai: GLM 4.7 Flash 100.0% Xiaomi: MiMo-V2-Flash 16.7% 0.0% 100.0% | 0 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #15/27 46% Google: Gemini 3 Flash Preview 0 Google: Gemini 3.1 Pro Preview 0 Google: Gemini 3 Pro Preview 0 Qwen: Qwen3.5 Plus 2026-02-15 0 OpenAI: GPT-5.2 0 Z.ai: GLM 4.7 Flash 0 Z.ai: GLM 5 1 0 1 | 9.87 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #2/17 94% OpenAI: gpt-oss-120b 10.00 Z.ai: GLM 4.7 Flash 9.87 Anthropic: Claude Sonnet 4.6 9.83 Anthropic: Claude Opus 4.6 9.83 Z.ai: GLM 5 9.80 Qwen: Qwen3 Coder Next 4.00 4.00 10.00 | $0.00281 合計コスト 順位: #11/27 62% StepFun: Step 3.5 Flash $0.00000 Xiaomi: MiMo-V2-Flash $0.00029 Xiaomi: MiMo-V2-Flash $0.00029 Z.ai: GLM 4.7 Flash $0.00050 OpenAI: gpt-oss-120b $0.00052 Z.ai: GLM 4.7 Flash $0.00281 Anthropic: Claude Opus 4.6 $0.07755 $0.00000 $0.07755 |
| Domain specific | 0/3 | 1.00 全ベンチマークテストの平均スコア。 順位: #27/27 0% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 7.00 Google: Gemini 3 Flash Preview 7.00 Anthropic: Claude Sonnet 4.6 7.00 Z.ai: GLM 4.7 Flash 7.00 Z.ai: GLM 4.7 Flash 1.00 Anthropic: Claude Sonnet 4.6 1.00 1.00 10.00 | 4.41 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #27/27 0% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Google: Gemini 3 Flash Preview 10.00 Anthropic: Claude Sonnet 4.6 10.00 Z.ai: GLM 4.7 Flash 4.41 Z.ai: GLM 5 4.41 4.41 10.00 | 33.3% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #18/27 35% Google: Gemini 3 Flash Preview 100.0% Google: Gemini 3.1 Pro Preview 66.7% Google: Gemini 3 Flash Preview 66.7% Anthropic: Claude Sonnet 4.6 66.7% Z.ai: GLM 4.7 Flash 66.7% Z.ai: GLM 4.7 Flash 33.3% Z.ai: GLM 5 0.0% 0.0% 100.0% | 2 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #27/27 0% Google: Gemini 3 Flash Preview 0 Google: Gemini 3.1 Pro Preview 0 Google: Gemini 3 Pro Preview 0 Google: Gemini 3 Flash Preview 0 Anthropic: Claude Sonnet 4.6 0 Z.ai: GLM 4.7 Flash 2 Z.ai: GLM 5 2 0 2 | 8.21 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #5/17 75% Xiaomi: MiMo-V2-Flash 8.72 OpenAI: gpt-oss-120b 8.53 StepFun: Step 3.5 Flash 8.44 Z.ai: GLM 5 8.43 Z.ai: GLM 4.7 Flash 8.21 Google: Gemini 3 Pro Preview 2.44 2.44 8.72 | $0.00183 合計コスト 順位: #12/27 58% StepFun: Step 3.5 Flash $0.00000 Z.ai: GLM 4.7 Flash $0.00005 Xiaomi: MiMo-V2-Flash $0.00008 Qwen: Qwen3 Coder Next $0.00010 Qwen: Qwen3 Coder Next $0.00010 Z.ai: GLM 4.7 Flash $0.00183 Anthropic: Claude Sonnet 4.6 $0.64205 $0.00000 $0.64205 |
| Instructions following | 1/2 | 5.00 全ベンチマークテストの平均スコア。 順位: #20/27 27% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Anthropic: Claude Sonnet 4.6 10.00 OpenAI: gpt-oss-120b 10.00 Z.ai: GLM 5 10.00 Z.ai: GLM 4.7 Flash 5.00 xAI: Grok 4.1 Fast 1.00 1.00 10.00 | 5.81 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #26/27 4% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 OpenAI: GPT-5.2 10.00 Anthropic: Claude Sonnet 4.6 10.00 Z.ai: GLM 4.7 Flash 5.81 Xiaomi: MiMo-V2-Flash 5.80 5.80 10.00 | 66.7% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #17/27 38% Google: Gemini 3 Flash Preview 100.0% Google: Gemini 3.1 Pro Preview 100.0% Google: Gemini 3 Pro Preview 100.0% Qwen: Qwen3.5 Plus 2026-02-15 100.0% OpenAI: GPT-5.2 100.0% Z.ai: GLM 4.7 Flash 66.7% xAI: Grok 4.1 Fast 0.0% 0.0% 100.0% | 1 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #23/27 15% Google: Gemini 3 Flash Preview 0 Google: Gemini 3.1 Pro Preview 0 Google: Gemini 3 Pro Preview 0 Qwen: Qwen3.5 Plus 2026-02-15 0 OpenAI: GPT-5.2 0 Z.ai: GLM 4.7 Flash 1 Google: Gemini 3 Flash Preview 1 0 1 | 9.50 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #6/17 69% Anthropic: Claude Sonnet 4.6 10.00 Z.ai: GLM 5 9.75 StepFun: Step 3.5 Flash 9.67 OpenAI: gpt-oss-120b 9.50 Anthropic: Claude Opus 4.6 9.50 Z.ai: GLM 4.7 Flash 9.50 xAI: Grok 4.1 Fast 3.25 3.25 10.00 | $0.00105 合計コスト 順位: #14/27 50% StepFun: Step 3.5 Flash $0.00000 Z.ai: GLM 4.7 Flash $0.00006 Xiaomi: MiMo-V2-Flash $0.00008 Qwen: Qwen3 Coder Next $0.00013 Qwen: Qwen3 Coder Next $0.00014 Z.ai: GLM 4.7 Flash $0.00105 Google: Gemini 3.1 Pro Preview $0.03134 $0.00000 $0.03134 |
| Puzzle Solving | 0/3 | 1.00 全ベンチマークテストの平均スコア。 順位: #23/27 15% Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 Anthropic: Claude Sonnet 4.6 10.00 Z.ai: GLM 5 10.00 Z.ai: GLM 4.7 Flash 1.00 1.00 10.00 | 7.20 一貫性スコアはリピート間の安定性を示します(10 = 非常に一貫、常に誤りでも一貫)。 順位: #22/27 19% Google: Gemini 3 Flash Preview 10.00 Google: Gemini 3.1 Pro Preview 10.00 Google: Gemini 3 Pro Preview 10.00 Qwen: Qwen3.5 Plus 2026-02-15 10.00 OpenAI: GPT-5.2 10.00 Z.ai: GLM 4.7 Flash 7.20 MiniMax: MiniMax M2.5 4.79 4.79 10.00 | 11.1% 試行ごとの合格率 = 合格試行数 / 全リピートでの総試行数。 順位: #19/27 31% Google: Gemini 3 Flash Preview 100.0% Google: Gemini 3.1 Pro Preview 100.0% Google: Gemini 3 Pro Preview 100.0% Qwen: Qwen3.5 Plus 2026-02-15 100.0% Anthropic: Claude Sonnet 4.6 100.0% Z.ai: GLM 4.7 Flash 11.1% OpenAI: GPT-4o-mini 0.0% 0.0% 100.0% | 1 不安定なテストは、リピート間で結果が混在しています(少なくとも1回合格かつ1回失敗)。 順位: #21/27 23% Google: Gemini 3 Flash Preview 0 Google: Gemini 3.1 Pro Preview 0 Google: Gemini 3 Pro Preview 0 Qwen: Qwen3.5 Plus 2026-02-15 0 OpenAI: GPT-5.2 0 Z.ai: GLM 4.7 Flash 1 OpenAI: GPT-5 Nano 2 0 2 | 7.33 最終回答の正誤とは独立して、推論の明確さ・効率・一貫性を測定します。 順位: #13/17 25% Z.ai: GLM 5 9.50 Anthropic: Claude Sonnet 4.6 9.44 Anthropic: Claude Opus 4.6 9.44 MoonshotAI: Kimi K2.5 9.26 StepFun: Step 3.5 Flash 9.22 Z.ai: GLM 4.7 Flash 7.33 Qwen: Qwen3 Coder Next 4.33 4.33 9.50 | $0.00203 合計コスト 順位: #12/27 58% StepFun: Step 3.5 Flash $0.00000 Z.ai: GLM 4.7 Flash $0.00008 OpenAI: GPT-4o-mini $0.00028 xAI: Grok 4.1 Fast $0.00053 Qwen: Qwen3 Coder Next $0.00058 Z.ai: GLM 4.7 Flash $0.00203 Qwen: Qwen3.5 Plus 2026-02-15 $0.05508 $0.00000 $0.05508 |