AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-09-03 評価済みモデル数: 311

311/311

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#97#97	GPT-5.4 Minimedium	7.5	OpenAI	$0.786	26.72s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 5 入力トークン 97,164 出力トークン 6,211 推論トークン 152,133 応答時間（平均） 26.72s 応答時間（合計） 587.90s 応答時間（最大） 138.75s 不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1 反AIトリック : 8.6 コーディング : 8.4 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.5 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#132#132	Grok 4.20medium	7.0	X AI	$0.805 ↓	32.56s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 60.6% 不安定なテスト 5 入力トークン 102,986 出力トークン 5,860 推論トークン 264,399 応答時間（平均） 32.56s 応答時間（合計） 716.36s 応答時間（最大） 199.66s 不正解: 6 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 1 反AIトリック : 8.2 コーディング : 6.3 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.9 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 3.0 雑学 : 3.0
#65#65	GPT-5.6 Terrahigh	8.0	OpenAI	$0.836 ↓	11.22s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 68.2% 不安定なテスト 2 入力トークン 81,056 出力トークン 5,055 推論トークン 51,033 応答時間（平均） 11.22s 応答時間（合計） 246.77s 応答時間（最大） 91.49s 不正解: 7 無効なツール呼び出し: 1 反AIトリック : 8.3 コーディング : 7.6 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#55#55	Claude Sonnet 5medium	8.2	Anthropic	$0.922	12.54s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 75.8% 不安定なテスト 3 入力トークン 145,953 出力トークン 52,330 推論トークン 10,874 応答時間（平均） 12.54s 応答時間（合計） 275.90s 応答時間（最大） 66.71s 不正解: 5 指示に従っていない: 1 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 9.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#46#46	Grok 4.5low	8.4	X AI	$0.945	16.17s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 77.3% 不安定なテスト 2 入力トークン 125,605 出力トークン 7,505 推論トークン 107,984 応答時間（平均） 16.17s 応答時間（合計） 355.67s 応答時間（最大） 205.28s 不正解: 6 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#95#95	Qwen3.5-27Bmedium	7.5	Qwen	$0.982 ↓	113.28s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 75.8% 不安定なテスト 6 入力トークン 111,644 出力トークン 16,113 推論トークン 598,796 応答時間（平均） 113.28s 応答時間（合計） 2492.26s 応答時間（最大） 1026.43s 不正解: 4 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1 反AIトリック : 8.7 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 6.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#25#25	GPT-5.3-Codexmedium	8.9	OpenAI	$0.988	16.91s
モデルカードを見る合計テスト数 22 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 83.3% 不安定なテスト 4 入力トークン 81,187 出力トークン 6,258 推論トークン 54,116 応答時間（平均） 16.91s 応答時間（合計） 372.03s 応答時間（最大） 100.93s 不正解: 4 指示に従っていない: 2 反AIトリック : 8.7 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 4.6 指示追従 : 10.0 パズル解決 : 9.0 ツール呼び出し : 10.0 雑学 : 2.8
#165#165	Qwen3.6 27Bmedium	6.5	Qwen	$1.045 ↑	106.06s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 10.0 試行ごとの合格率 60.6% 不安定なテスト 7 入力トークン 106,176 出力トークン 33,013 推論トークン 239,560 応答時間（平均） 106.06s 応答時間（合計） 2333.36s 応答時間（最大） 1085.11s 不正解: 5 回答なし: 3 無効なツール呼び出し: 2 余分な書式: 1 指示に従っていない: 1 反AIトリック : 8.3 コーディング : 7.7 複合 : 6.7 データ解析と抽出 : 3.5 ドメイン特化 : 2.9 汎用知能 : 6.5 指示追従 : 10.0 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#59#59	Inklinghigh	8.0	Thinkingmachines	$1.046	62.57s
モデルカードを見る合計テスト数 22 誤答テスト数 7 信頼性 10.0 試行ごとの合格率 77.3% 不安定なテスト 3 入力トークン 86,755 出力トークン 6,057 推論トークン 230,570 応答時間（平均） 62.57s 応答時間（合計） 1376.46s 応答時間（最大） 327.51s 不正解: 4 無効なツール呼び出し: 2 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 8.5 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 6.9 ツール呼び出し : 3.0 雑学 : 3.0
#139#139	Gemini 3.5 Flashnone	6.9	Google	$1.093	10.18s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 3 入力トークン 13,852 出力トークン 119,100 推論トークン 0 応答時間（平均） 10.18s 応答時間（合計） 183.29s 応答時間（最大） 64.36s API エラー: 4 不正解: 4 反AIトリック : 10.0 コーディング : 8.8 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 2.8
#32#32	Claude Opus 5low	8.7	Anthropic	$1.121	6.99s
モデルカードを見る合計テスト数 22 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 83.3% 不安定なテスト 1 入力トークン 134,770 出力トークン 13,604 推論トークン 4,388 応答時間（平均） 6.99s 応答時間（合計） 153.80s 応答時間（最大） 30.67s 不正解: 4 反AIトリック : 10.0 コーディング : 7.8 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#98#98	Grok Build 0.1medium	7.5	X AI	$1.130	54.50s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 60.6% 不安定なテスト 1 入力トークン 106,946 出力トークン 7,993 推論トークン 503,413 応答時間（平均） 54.50s 応答時間（合計） 1199.07s 応答時間（最大） 252.69s 不正解: 6 余分な書式: 3 反AIトリック : 8.3 コーディング : 5.7 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.4 指示追従 : 9.8 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#40#40	Qwen3.6 Max Previewmedium	8.6	Qwen	$1.132 ↓	66.52s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 83.3% 不安定なテスト 2 入力トークン 79,249 出力トークン 5,097 推論トークン 165,276 応答時間（平均） 66.52s 応答時間（合計） 1463.50s 応答時間（最大） 238.07s 不正解: 4 タイムアウト: 1 反AIトリック : 10.0 コーディング : 8.8 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#183#183	Qwen3.5-35B-A3Bmedium	6.1	Qwen	$1.140 ↑	110.84s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 130,450 出力トークン 54,857 推論トークン 838,606 応答時間（平均） 110.84s 応答時間（合計） 2438.58s 応答時間（最大） 950.25s タイムアウト: 4 回答なし: 3 不正解: 2 API エラー: 1 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 5.9 複合 : 3.8 データ解析と抽出 : 7.3 ドメイン特化 : 3.5 汎用知能 : 2.8 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#142#142	Seed-2.0-Codemedium	6.8	Bytedance Seed	$1.153	101.05s
モデルカードを見る合計テスト数 22 誤答テスト数 12 信頼性 7.3 試行ごとの合格率 63.6% 不安定なテスト 7 入力トークン 76,036 出力トークン 7,267 推論トークン 364,176 応答時間（平均） 101.05s 応答時間（合計） 2223.19s 応答時間（最大） 626.58s API エラー: 6 不正解: 4 余分な書式: 1 指示に従っていない: 1 反AIトリック : 6.9 コーディング : 8.9 複合 : 4.7 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 9.8 パズル解決 : 8.2 ツール呼び出し : 4.7 雑学 : 3.0
#19#19	Qwen3.7 Maxmedium	9.1	Qwen	$1.157 ↓	44.32s
モデルカードを見る合計テスト数 22 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 86.4% 不安定なテスト 3 入力トークン 106,029 出力トークン 5,748 推論トークン 220,354 応答時間（平均） 44.32s 応答時間（合計） 975.11s 応答時間（最大） 556.06s 不正解: 4 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#115#115	Claude Opus 4.8none	7.3	Anthropic	$1.166	4.92s
モデルカードを見る合計テスト数 22 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 2 入力トークン 149,203 出力トークン 16,797 推論トークン 0 応答時間（平均） 4.92s 応答時間（合計） 108.24s 応答時間（最大） 35.03s 不正解: 4 余分な書式: 3 指示に従っていない: 1 回答なし: 1 反AIトリック : 6.5 コーディング : 5.5 複合 : 9.8 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#47#47	GPT-5.2medium	8.4	OpenAI	$1.182	28.51s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 72.7% 不安定なテスト 4 入力トークン 105,013 出力トークン 9,914 推論トークン 61,338 応答時間（平均） 28.51s 応答時間（合計） 456.13s 応答時間（最大） 116.86s 指示に従っていない: 3 不正解: 3 回答なし: 1 タイムアウト: 1 反AIトリック : 6.5 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 3.7 指示追従 : 9.9 パズル解決 : 7.5 ツール呼び出し : 4.7 雑学 : 3.0
#63#63	GLM 5.2high	8.0	Z.ai	$1.188 ↑	69.86s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 69.7% 不安定なテスト 3 入力トークン 83,822 出力トークン 72,040 推論トークン 292,615 応答時間（平均） 69.86s 応答時間（合計） 1536.98s 応答時間（最大） 599.43s タイムアウト: 3 回答なし: 2 不正解: 2 指示に従っていない: 1 反AIトリック : 10.0 コーディング : 6.4 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.1 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#122#122	Qwen3.5-122B-A10Bmedium	7.1	Qwen	$1.207 ↑	65.67s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 71.2% 不安定なテスト 4 入力トークン 124,780 出力トークン 47,694 推論トークン 439,825 応答時間（平均） 65.67s 応答時間（合計） 1444.68s 応答時間（最大） 519.30s 不正解: 5 タイムアウト: 2 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 6.0 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.4 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#141#141	Step 3.7 Flashhigh	6.8	Stepfun	$1.229	70.10s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 60.6% 不安定なテスト 4 入力トークン 98,700 出力トークン 1,050,900 推論トークン 0 応答時間（平均） 70.10s 応答時間（合計） 1542.14s 応答時間（最大） 364.99s 不正解: 7 回答なし: 3 無効なツール呼び出し: 1 反AIトリック : 10.0 コーディング : 4.0 複合 : 8.7 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 5.5 指示追従 : 9.8 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#116#116	Kimi K2.6medium	7.2	Moonshot AI	$1.247 ↑	115.89s
モデルカードを見る合計テスト数 22 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 63.6% 不安定なテスト 4 入力トークン 68,913 出力トークン 64,654 推論トークン 282,865 応答時間（平均） 115.89s 応答時間（合計） 2433.66s 応答時間（最大） 876.20s タイムアウト: 3 不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1 反AIトリック : 7.0 コーディング : 5.7 複合 : 6.9 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.0 ツール呼び出し : 10.0 雑学 : 3.0
#11#11	GPT-5.5low	9.3	OpenAI	$1.257	10.15s
モデルカードを見る合計テスト数 22 誤答テスト数 3 信頼性 10.0 試行ごとの合格率 86.4% 不安定なテスト 0 入力トークン 80,067 出力トークン 5,378 推論トークン 23,162 応答時間（平均） 10.15s 応答時間（合計） 223.24s 応答時間（最大） 56.19s 不正解: 3 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 9.9 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#138#138	Seed-2.0-Codehigh	6.9	Bytedance Seed	$1.273	124.18s
モデルカードを見る合計テスト数 22 誤答テスト数 11 信頼性 8.6 試行ごとの合格率 63.6% 不安定なテスト 5 入力トークン 81,970 出力トークン 7,186 推論トークン 403,389 応答時間（平均） 124.18s 応答時間（合計） 2732.03s 応答時間（最大） 675.30s API エラー: 5 不正解: 4 指示に従っていない: 1 回答なし: 1 反AIトリック : 8.3 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.6 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#37#37	Muse Spark 1.2medium	8.6	Meta	$1.339	19.67s
モデルカードを見る合計テスト数 22 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 74.2% 不安定なテスト 4 入力トークン 123,680 出力トークン 7,222 推論トークン 271,442 応答時間（平均） 19.67s 応答時間（合計） 432.72s 応答時間（最大） 142.49s 指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1 反AIトリック : 7.3 コーディング : 10.0 複合 : 8.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 9.8 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium