ナビゲーション
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

比較対象モデル

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-03-12

指標 xAI: Grok 4.20 Beta Grok 4.20 Beta medium リリース: 2026-03-12 xAI: Grok 4.20 Multi-Agent Beta Grok 4.20 Multi-Agent Beta medium リリース: 2026-03-12 xAI: Grok 4.1 Fast Grok 4.1 Fast medium リリース: 2025-11-19 Google: Gemini 3 Flash Preview Gemini 3 Flash Preview medium リリース: 2025-12-17
順位 #24 #47 #32 #1
平均スコア 7.0 4.9 6.2 10.0
一貫性 9.0 7.1 7.9 10.0
結果あたりのコスト 5.989 97.178 0.563 1.025
合計コスト $0.599 $4.859 $0.051 $0.164
正解テスト
試行ごとの合格率 70.8% 52.1% 66.7% 100.0%
不安定なテスト 2 6 4 0
総実行回数 48 48 48 48
出力トークン 1,481 293,634 1,183 1,634
推論トークン 86,628 291,260 83,875 47,907
応答時間（平均） 8.89s 9.08s 26.35s 12.36s
応答時間（最大） 24.21s 35.28s 121.79s 50.16s
応答時間（合計） 142.18s 127.09s 237.11s 111.21s

スコア上位モデル

スコア vs 総コスト

応答時間（平均）

平均スコア vs 応答時間（平均）

合計出力トークン

平均スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.19s 262 6,289
Grok 4.20 Multi-Agent Beta 4.0 4.4 66.7% 2 3.77s 28,392 27,808
Grok 4.1 Fast 10.0 10.0 100.0% 0 5.65s 102 4,021
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 5.61s 299 3,127
複合 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 20.93s 227 12,212
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 50.16s 351 12,645
データ解析と抽出 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 9.9 10.0 100.0% 0 4.01s 180 5,281
Grok 4.20 Multi-Agent Beta 9.9 10.0 100.0% 0 5.54s 25,306 25,051
Grok 4.1 Fast 9.9 10.0 100.0% 0 6.63s 180 5,409
Gemini 3 Flash Preview 9.9 10.0 100.0% 0 4.72s 279 5,333
ドメイン特化 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 4.0 10.0 33.3% 0 21.33s 251 40,255
Grok 4.20 Multi-Agent Beta 10.0 7.2 11.1% 1 24.67s 164,609 163,647
Grok 4.1 Fast 4.0 4.4 66.7% 2 121.79s 11 37,657
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 21.12s 12 14,908
汎用知能 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 5.78s 72 3,440
Grok 4.20 Multi-Agent Beta 4.0 2.8 66.7% 1 6.40s 15,848 15,746
Grok 4.1 Fast 3.0 9.9 0.0% 0 16.25s 127 3,456
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.09s 111 1,285
指示追従 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 9.0 10.0 50.0% 0 4.97s 57 7,107
Grok 4.20 Multi-Agent Beta 9.0 10.0 50.0% 0 4.63s 25,457 25,322
Grok 4.1 Fast 5.5 10.0 50.0% 0 5.30s 55 3,489
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 6.10s 72 4,558
Puzzle Solving スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 7.0 7.2 88.9% 1 3.85s 249 6,660
Grok 4.20 Multi-Agent Beta 6.3 5.1 77.8% 2 5.01s 34,022 33,686
Grok 4.1 Fast 4.0 7.2 44.4% 1 8.08s 187 6,086
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.43s 276 4,921
ツール呼び出し スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間（平均） 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 0.0% 0 12.39s 183 5,384
Grok 4.20 Multi-Agent Beta 10.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 1.6 33.3% 1 27.71s 260 11,485
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 10.55s 234 1,130

クイック比較

比較ペアを切り替え

Qwen3.5 Plus 2026-02-15nonevsGrok 4.1 FastmediumQwen3.5-27BnonevsGrok 4.20 Multi-Agent BetamediumSeed-2.0-LitenonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewnonevsGrok 4.20 BetamediumQwen3.5-122B-A10BnonevsGrok 4.20 Multi-Agent BetamediumGrok 4.1 FastmediumvsGLM 5noneQwen3.5-35B-A3BnonevsGrok 4.20 Multi-Agent BetamediumGemini 3 Flash PreviewnonevsGrok 4.20 BetamediumClaude Sonnet 4.6nonevsGrok 4.20 BetamediumGPT-5.3 ChatnonevsGrok 4.20 BetamediumGemini 2.5 FlashnonevsGrok 4.20 Multi-Agent BetamediumGemini 3.1 Flash Lite PreviewlowvsGrok 4.20 Betamedium