ナビゲーション
AI BENCHY
Your ad here

AI BENCHY Compare

比較対象モデル

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-04-29

指標 Grok 4.20 Beta Grok 4.20 Beta medium リリース: 2026-03-12 Grok 4.20 Multi Agent Beta Grok 4.20 Multi Agent Beta medium リリース: 2026-03-12 Grok 4.1 Fast Grok 4.1 Fast medium リリース: 2025-11-19 Gemini 3 Flash Preview Gemini 3 Flash Preview medium リリース: 2025-12-17
スコア 8.0 6.4 6.7 10.0
順位 #35 #72 #68 #1
信頼性 該当なし 該当なし 該当なし 該当なし
一貫性 9.1 7.4 7.2 10.0
正解テスト
試行ごとの合格率 74.1% 57.4% 64.8% 100.0%
不安定なテスト 2 6 6 0
総実行回数 52 52 54 18
結果あたりのコスト 5.269 72.473 0.613 0.600
合計コスト $0.633 $5.074 $0.056 $0.108
???? $0.000 / 1M $0.000 / 1M $0.200 / 1M $0.500 / 1M
???? $0.000 / 1M $0.000 / 1M $0.500 / 1M $3.000 / 1M
出力トークン 1,568 299,034 2,010 655
推論トークン 91,909 309,670 91,298 33,749
応答時間(平均) 9.81s 9.80s 23.88s 12.11s
応答時間(最大) 31.36s 35.28s 121.79s 82.37s
応答時間(合計) 176.62s 156.75s 262.66s 217.93s

スコア上位モデル

スコア vs 総コスト

応答時間(平均)

スコア vs 応答時間(平均)

合計出力トークン

スコア vs 合計出力トークン

カテゴリ内訳

反AIトリック スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 8.7 7.9 91.7% 1 3.16s 268 7,583
Grok 4.20 Multi Agent Beta 6.9 5.8 75.0% 2 3.46s 33,706 33,077
Grok 4.1 Fast 8.7 7.9 91.7% 1 3.81s 108 4,741
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 3.26s 110 1,076
コーディング スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 31.36s 81 3,987
Grok 4.20 Multi Agent Beta 10.0 10.0 100.0% 0 27.11s 86 13,141
Grok 4.1 Fast 2.3 1.1 33.3% 1 23.58s 821 6,703
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 82.37s 144 16,257
複合 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 20.93s 227 12,212
Grok 4.20 Multi Agent Beta 3.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 10.0 10.0 100.0% 0 37.64s 261 12,272
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 23.58s 117 3,495
データ解析と抽出 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 4.01s 180 5,281
Grok 4.20 Multi Agent Beta 10.0 10.0 100.0% 0 5.54s 25,306 25,051
Grok 4.1 Fast 10.0 10.0 100.0% 0 6.63s 180 5,409
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 7.62s 93 2,197
ドメイン特化 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 5.3 10.0 33.3% 0 21.33s 251 40,255
Grok 4.20 Multi Agent Beta 2.9 7.2 11.1% 1 24.67s 164,609 163,647
Grok 4.1 Fast 5.8 4.4 66.7% 2 121.79s 11 37,657
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 14.81s 4 7,228
汎用知能 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 10.0 10.0 100.0% 0 5.78s 72 3,440
Grok 4.20 Multi Agent Beta 5.8 2.8 66.7% 1 6.40s 15,848 15,746
Grok 4.1 Fast 4.2 9.9 0.0% 0 16.25s 127 3,456
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 6.34s 24 635
指示追従 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 8.3 10.0 50.0% 0 4.97s 57 7,107
Grok 4.20 Multi Agent Beta 8.3 10.0 50.0% 0 4.63s 25,457 25,322
Grok 4.1 Fast 6.6 10.0 50.0% 0 5.30s 55 3,489
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.30s 24 903
パズル解決 スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 8.2 7.2 88.9% 1 3.85s 249 6,660
Grok 4.20 Multi Agent Beta 7.2 5.1 77.8% 2 5.01s 34,022 33,686
Grok 4.1 Fast 5.3 7.2 44.4% 1 8.08s 187 6,086
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 4.86s 61 1,455
ツール呼び出し スコア 一貫性 試行ごとの合格率 不安定なテスト 正解テスト 応答時間(平均) 出力トークン 推論トークン
Grok 4.20 Beta 3.0 10.0 0.0% 0 12.39s 183 5,384
Grok 4.20 Multi Agent Beta 3.0 10.0 0.0% 0 0ms 0 0
Grok 4.1 Fast 2.8 1.6 33.3% 1 27.71s 260 11,485
Gemini 3 Flash Preview 10.0 10.0 100.0% 0 9.78s 78 503

クイック比較

比較ペアを切り替え