AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#105#105	Claude Opus 4.7medium	8.1	Anthropic	$3.636	14.12s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 81.2% 不安定なテスト 2 入力トークン 437,293 出力トークン 29,102 推論トークン 28,876 応答時間（平均） 14.12s 応答時間（合計） 310.55s 応答時間（最大） 150.60s 不正解: 3 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 5.2 反AIトリック : 8.3 コーディング : 7.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#169#169	Claude Opus 4.8low	7.2	Anthropic	$3.787	17.13s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 78.3% 不安定なテスト 4 入力トークン 409,947 出力トークン 46,060 推論トークン 23,429 応答時間（平均） 17.13s 応答時間（合計） 394.01s 応答時間（最大） 127.97s 不正解: 5 余分な書式: 1 回答なし: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 6.6 複合 : 9.9 データ解析と抽出 : 6.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#139#139	Muse Wonderxhigh	7.7	Meta	$4.012	34.40s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.1 試行ごとの合格率 65.2% 不安定なテスト 2 入力トークン 93,060 出力トークン 10,305 推論トークン 171,683 応答時間（平均） 34.40s 応答時間（合計） 791.16s 応答時間（最大） 236.64s API エラー: 6 不正解: 3 エージェントタスク : 3.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 2.8
#82#82	Qwen3.8 2.4T A95Blow	8.4	Qwen	$4.016 ↑	120.40s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.6 試行ごとの合格率 73.9% 不安定なテスト 2 入力トークン 313,881 出力トークン 123,706 推論トークン 388,328 応答時間（平均） 120.40s 応答時間（合計） 2769.16s 応答時間（最大） 534.21s 不正解: 5 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 7.8 複合 : 8.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.2 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#302#302	Step 5 Previewlow	5.6	Stepfun	$4.110	138.27s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 9.7 試行ごとの合格率 58.0% 不安定なテスト 7 入力トークン 261,256 出力トークン 1,425,268 推論トークン 0 応答時間（平均） 138.27s 応答時間（合計） 3180.10s 応答時間（最大） 436.56s 回答なし: 7 API エラー: 2 不正解: 2 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 3.4 反AIトリック : 6.9 コーディング : 2.7 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 3.5 指示追従 : 10.0 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#271#271	Step 5 Previewmedium	6.1	Stepfun	$4.136	136.10s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 9.6 試行ごとの合格率 53.6% 不安定なテスト 5 入力トークン 261,842 出力トークン 1,434,621 推論トークン 0 応答時間（平均） 136.10s 応答時間（合計） 3130.27s 応答時間（最大） 438.09s 回答なし: 6 不正解: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 6.4 コーディング : 2.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 10.0 パズル解決 : 7.8 ツール呼び出し : 10.0 雑学 : 3.0
#7#7	GPT-6 Astrahigh	9.9	OpenAI	$4.458	20.16s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.9 試行ごとの合格率 97.1% 不安定なテスト 1 入力トークン 167,805 出力トークン 5,651 推論トークン 49,944 応答時間（平均） 20.16s 応答時間（合計） 463.68s 応答時間（最大） 254.93s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#185#185	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
モデルカードを見る合計テスト数 23 誤答テスト数 13 信頼性 9.5 試行ごとの合格率 52.2% 不安定なテスト 4 入力トークン 243,381 出力トークン 1,581,325 推論トークン 0 応答時間（平均） 154.41s 応答時間（合計） 3551.40s 応答時間（最大） 455.72s 回答なし: 7 不正解: 3 API エラー: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 6.5 コーディング : 2.9 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 3.4 指示追従 : 7.3 パズル解決 : 5.8 ツール呼び出し : 10.0 雑学 : 3.0
#27#27	Claude Opus 5high	9.4	Anthropic	$4.524	25.31s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 0 入力トークン 376,421 出力トークン 67,688 推論トークン 37,974 応答時間（平均） 25.31s 応答時間（合計） 582.11s 応答時間（最大） 159.01s 不正解: 2 余分な書式: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#89#89	GLM 5.2high	8.4	Z.ai	$4.632 ↑	69.11s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.0% 不安定なテスト 3 入力トークン 288,913 出力トークン 79,462 推論トークン 303,120 応答時間（平均） 69.11s 応答時間（合計） 1589.43s 応答時間（最大） 599.43s 不正解: 5 回答なし: 2 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#122#122	Muse Wondermax	7.9	Meta	$4.766	44.39s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.0 試行ごとの合格率 75.4% 不安定なテスト 3 入力トークン 93,126 出力トークン 10,497 推論トークン 209,138 応答時間（平均） 44.39s 応答時間（合計） 1021.02s 応答時間（最大） 287.79s API エラー: 4 不正解: 2 指示に従っていない: 1 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 7.5 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 2.8
#33#33	GPT-5.5medium	9.2	OpenAI	$4.809	39.86s
モデルカードを見る合計テスト数 23 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 88.4% 不安定なテスト 3 入力トークン 180,959 出力トークン 6,472 推論トークン 123,635 応答時間（平均） 39.86s 応答時間（合計） 916.82s 応答時間（最大） 332.10s 不正解: 4 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 2.8
#5#5	GPT-6 Astramax	9.9	OpenAI	$5.044	61.63s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.6 試行ごとの合格率 95.7% 不安定なテスト 0 入力トークン 181,223 出力トークン 5,707 推論トークン 58,909 応答時間（平均） 61.63s 応答時間（合計） 1417.51s 応答時間（最大） 960.01s タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#57#57	Claude Fable 5medium	8.9	Anthropic	$5.089	16.84s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 79.7% 不安定なテスト 1 入力トークン 272,411 出力トークン 35,497 推論トークン 11,788 応答時間（平均） 16.84s 応答時間（合計） 387.26s 応答時間（最大） 80.80s 回答なし: 3 無効なツール呼び出し: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#391#391	Grok 4.20 Multi Agent Betamedium	3.9	X AI	$5.599 ↑	9.69s
モデルカードを見る合計テスト数 18 誤答テスト数 10 信頼性該当なし試行ごとの合格率 46.4% 不安定なテスト 5 入力トークン 721,952 出力トークン 294,668 推論トークン 305,374 応答時間（平均） 9.69s 応答時間（合計） 155.07s 応答時間（最大） 35.28s 不正解: 4 API エラー: 2 余分な書式: 2 指示に従っていない: 2 エージェントタスク : 0.0 反AIトリック : 6.9 コーディング : 3.3 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.8 指示追従 : 9.8 パズル解決 : 6.7 ツール呼び出し : 3.0 雑学 : 0.0
#8#8	GPT-6 Astraxhigh	9.9	OpenAI	$6.213	29.67s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.9 試行ごとの合格率 97.1% 不安定なテスト 1 入力トークン 170,731 出力トークン 5,865 推論トークン 84,230 応答時間（平均） 29.67s 応答時間（合計） 682.42s 応答時間（最大） 381.11s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#34#34	Claude Sonnet 5.5max	9.2	Anthropic	$8.557	84.26s
モデルカードを見る合計テスト数 23 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 82.6% 不安定なテスト 2 入力トークン 484,627 出力トークン 11,026 推論トークン 747,681 応答時間（平均） 84.26s 応答時間（合計） 1937.91s 応答時間（最大） 488.39s 回答なし: 3 指示に従っていない: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 8.5 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0

←

1 17 18

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow