AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#59#59	Qwen3.8 MAXlow	8.8	Qwen	$1.089 ↑	25.09s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 3 入力トークン 262,495 出力トークン 7,787 推論トークン 86,149 応答時間（平均） 25.09s 応答時間（合計） 577.14s 応答時間（最大） 155.75s 不正解: 5 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#66#66	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.7 試行ごとの合格率 78.3% 不安定なテスト 2 入力トークン 348,967 出力トークン 1,005 推論トークン 676,075 応答時間（平均） 166.34s 応答時間（合計） 3825.81s 応答時間（最大） 640.85s 指示に従っていない: 2 回答なし: 2 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.8 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#79#79	Qwen3.7 Maxmedium	8.5	Qwen	$1.689 ↓	48.35s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 4 入力トークン 367,848 出力トークン 8,753 推論トークン 250,279 応答時間（平均） 48.35s 応答時間（合計） 1112.11s 応答時間（最大） 556.06s 不正解: 5 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#93#93	Kimi K3max	8.3	Moonshot AI	$3.409 ↓	139.41s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.3 試行ごとの合格率 78.3% 不安定なテスト 2 入力トークン 170,700 出力トークン 7,719 推論トークン 225,608 応答時間（平均） 139.41s 応答時間（合計） 2788.26s 応答時間（最大） 766.58s API エラー: 2 回答なし: 2 余分な書式: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#95#95	Claude Opus 4.8medium	8.3	Anthropic	$3.490	16.72s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 3 入力トークン 360,294 出力トークン 43,441 推論トークン 24,401 応答時間（平均） 16.72s 応答時間（合計） 384.66s 応答時間（最大） 99.37s 不正解: 5 回答なし: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 9.9 データ解析と抽出 : 7.1 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#99#99	Grok 4.5high	8.2	X AI	$2.687 ↑	72.50s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 3 入力トークン 342,124 出力トークン 7,135 推論トークン 326,497 応答時間（平均） 72.50s 応答時間（合計） 1667.51s 応答時間（最大） 676.83s 不正解: 3 回答なし: 2 指示に従っていない: 1 エージェントタスク : 5.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#124#124	Grok 4.5medium	7.8	X AI	$2.996 ↑	68.44s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 3 入力トークン 308,369 出力トークン 7,013 推論トークン 299,031 応答時間（平均） 68.44s 応答時間（合計） 1574.14s 応答時間（最大） 436.38s 不正解: 6 エージェントタスク : 5.0 反AIトリック : 10.0 コーディング : 7.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#181#181	Qwen3.6 Max Previewmedium	7.0	Qwen	$1.132 ↓	66.52s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 2 入力トークン 79,249 出力トークン 5,097 推論トークン 165,276 応答時間（平均） 66.52s 応答時間（合計） 1463.50s 応答時間（最大） 238.07s 不正解: 4 タイムアウト: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#346#346	Grok 4.20 Betamedium	4.9	X AI	$0.750 ↑	9.75s
モデルカードを見る合計テスト数 18 誤答テスト数 4 信頼性該当なし試行ごとの合格率 63.8% 不安定なテスト 1 入力トークン 35,955 出力トークン 1,647 推論トークン 91,565 応答時間（平均） 9.75s 応答時間（合計） 175.48s 応答時間（最大） 31.36s 不正解: 3 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 8.7 コーディング : 3.3 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 0.0
#29#29	Seed 2.1 Turbolow	9.3	Bytedance Seed	$1.645	161.25s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 241,855 出力トークン 8,387 推論トークン 600,946 応答時間（平均） 161.25s 応答時間（合計） 3708.70s 応答時間（最大） 739.98s 不正解: 3 回答なし: 2 エージェントタスク : 10.0 反AIトリック : 8.2 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#34#34	Claude Sonnet 5.5max	9.2	Anthropic	$8.557	84.26s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 2 入力トークン 484,627 出力トークン 11,026 推論トークン 747,681 応答時間（平均） 84.26s 応答時間（合計） 1937.91s 応答時間（最大） 488.39s 回答なし: 3 指示に従っていない: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 8.5 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#35#35	Qwen3.8 MAXmedium	9.2	Qwen	$1.181 ↑	27.34s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 1 入力トークン 276,512 出力トークン 8,152 推論トークン 96,444 応答時間（平均） 27.34s 応答時間（合計） 628.75s 応答時間（最大） 126.60s 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#36#36	Qwen3.8 Max (0902)high	9.1	Qwen	$3.306	186.06s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 9.8 試行ごとの合格率 87.0% 不安定なテスト 3 入力トークン 328,637 出力トークン 8,619 推論トークン 432,733 応答時間（平均） 186.06s 応答時間（合計） 4279.49s 応答時間（最大） 912.78s 不正解: 2 指示に従っていない: 1 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#38#38	Claude Haiku 5.5xhigh	9.1	Anthropic	$0.140	16.58s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 394,509 出力トークン 10,349 推論トークン 188,919 応答時間（平均） 16.58s 応答時間（合計） 381.40s 応答時間（最大） 92.74s 不正解: 2 余分な書式: 1 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#46#46	Qwen3.8 Max (0902)medium	9.0	Qwen	$1.096	30.42s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 84.1% 不安定なテスト 2 入力トークン 268,540 出力トークン 7,499 推論トークン 85,499 応答時間（平均） 30.42s 応答時間（合計） 699.68s 応答時間（最大） 168.09s 不正解: 5 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#47#47	Muse Spark 1.3medium	9.0	Meta	$1.712	39.83s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 3 入力トークン 250,676 出力トークン 13,511 推論トークン 315,400 応答時間（平均） 39.83s 応答時間（合計） 916.20s 応答時間（最大） 219.77s 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 9.6 雑学 : 3.0
#48#48	Gemini 3.5 Flash Litehigh	9.0	Google	$0.624	11.92s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 84.1% 不安定なテスト 2 入力トークン 244,529 出力トークン 6,784 推論トークン 213,142 応答時間（平均） 11.92s 応答時間（合計） 274.14s 応答時間（最大） 53.09s 不正解: 5 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.4 複合 : 9.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#57#57	Claude Fable 5medium	8.9	Anthropic	$5.089	16.84s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 1 入力トークン 272,411 出力トークン 35,497 推論トークン 11,788 応答時間（平均） 16.84s 応答時間（合計） 387.26s 応答時間（最大） 80.80s 回答なし: 3 無効なツール呼び出し: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#69#69	GPT-6 Sollow	8.7	OpenAI	$0.477	8.72s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 87.0% 不安定なテスト 4 入力トークン 172,359 出力トークン 5,026 推論トークン 8,185 応答時間（平均） 8.72s 応答時間（合計） 200.61s 応答時間（最大） 48.43s 不正解: 5 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.2 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 4.7
#75#75	Qwen3.8 Max (0902)low	8.6	Qwen	$1.131	29.07s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 85.5% 不安定なテスト 3 入力トークン 298,682 出力トークン 8,374 推論トークン 80,549 応答時間（平均） 29.07s 応答時間（合計） 668.66s 応答時間（最大） 207.79s 不正解: 4 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#105#105	Claude Opus 4.7medium	8.1	Anthropic	$3.636	14.12s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 437,293 出力トークン 29,102 推論トークン 28,876 応答時間（平均） 14.12s 応答時間（合計） 310.55s 応答時間（最大） 150.60s 不正解: 3 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 5.2 反AIトリック : 8.3 コーディング : 7.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#119#119	Gemini 3.5 Flashmedium	7.9	Google	$1.316	11.78s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 296,760 出力トークン 4,371 推論トークン 92,284 応答時間（平均） 11.78s 応答時間（合計） 271.03s 応答時間（最大） 84.47s 不正解: 3 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 2.8 反AIトリック : 10.0 コーディング : 7.9 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 10.0
#383#383	Gemini 3.1 Flash Lite Previewhigh	4.3	Google	$2.310	68.14s
モデルカードを見る合計テスト数 16 誤答テスト数 3 信頼性該当なし試行ごとの合格率 56.5% 不安定なテスト 0 入力トークン 28,980 出力トークン 1,283 推論トークン 1,533,310 応答時間（平均） 68.14s 応答時間（合計） 1090.28s 応答時間（最大） 280.52s 不正解: 2 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 7.5 コーディング : 0.0 複合 : 5.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 0.0
#13#13	GPT-5.6 Sollow	9.6	OpenAI	$1.244	11.13s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 87.0% 不安定なテスト 2 入力トークン 191,653 出力トークン 5,473 推論トークン 17,084 応答時間（平均） 11.13s 応答時間（合計） 256.08s 応答時間（最大） 57.11s 不正解: 4 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 10.0
#20#20	GPT-5.6 Solmedium	9.5	OpenAI	$1.700	14.57s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 91.3% 不安定なテスト 3 入力トークン 191,341 出力トークン 5,665 推論トークン 32,340 応答時間（平均） 14.57s 応答時間（合計） 335.16s 応答時間（最大） 79.40s 不正解: 4 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 4.7

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow