AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-19 評価済みモデル数: 451

451/451

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#163#163	Grok 4.7medium	7.3	X AI	$2.938	117.65s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.8 試行ごとの合格率 78.3% 不安定なテスト 5 入力トークン 326,066 出力トークン 5,726 推論トークン 469,019 応答時間（平均） 117.65s 応答時間（合計） 2706.03s 応答時間（最大） 660.89s 不正解: 5 回答なし: 2 指示に従っていない: 1 エージェントタスク : 3.9 反AIトリック : 10.0 コーディング : 6.6 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.4 指示追従 : 8.4 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#231#231	Mercury 2.5high	6.5	Inception	$0.044	7.62s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.8 試行ごとの合格率 59.4% 不安定なテスト 4 入力トークン 358,562 出力トークン 4,266 推論トークン 189,410 応答時間（平均） 7.62s 応答時間（合計） 175.36s 応答時間（最大） 80.30s 不正解: 9 API エラー: 1 回答なし: 1 エージェントタスク : 3.9 反AIトリック : 10.0 コーディング : 6.4 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.0 指示追従 : 6.5 パズル解決 : 8.7 ツール呼び出し : 10.0 雑学 : 3.0
#278#278	Qwen3.5 Plus 2026-04-20none	6.1	Qwen	$0.216 ↓	18.49s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 9.8 試行ごとの合格率 44.9% 不安定なテスト 5 入力トークン 299,984 出力トークン 69,664 推論トークン 0 応答時間（平均） 18.49s 応答時間（合計） 425.33s 応答時間（最大） 206.05s 不正解: 12 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 4.8 コーディング : 3.9 複合 : 6.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.8 指示追従 : 6.2 パズル解決 : 6.7 ツール呼び出し : 10.0 雑学 : 3.0
#299#299	Ling 3.0 Flashhigh	5.8	Inclusionai	$0.021 ↕	13.08s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.8 試行ごとの合格率 60.9% 不安定なテスト 4 入力トークン 132,044 出力トークン 92,135 推論トークン 207,321 応答時間（平均） 13.08s 応答時間（合計） 287.79s 応答時間（最大） 75.27s 不正解: 7 API エラー: 2 無効なツール呼び出し: 2 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 6.7 複合 : 2.9 データ解析と抽出 : 7.3 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#317#317	Ling 3.1 Flashnone	5.5	Inclusionai	$0.000	15.75s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 9.8 試行ごとの合格率 33.3% 不安定なテスト 5 入力トークン 286,758 出力トークン 85,777 推論トークン 0 応答時間（平均） 15.75s 応答時間（合計） 362.23s 応答時間（最大） 90.95s 不正解: 9 指示に従っていない: 5 回答なし: 2 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 6.1 反AIトリック : 3.6 コーディング : 4.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 8.0 パズル解決 : 7.7 ツール呼び出し : 4.7 雑学 : 3.0
#340#340	KAT Coder AIR V2.5high	5.2	Kwaipilot	$0.077	15.23s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 9.8 試行ごとの合格率 40.6% 不安定なテスト 5 入力トークン 50,423 出力トークン 4,144 推論トークン 110,510 応答時間（平均） 15.23s 応答時間（合計） 350.26s 応答時間（最大） 118.35s 不正解: 9 API エラー: 4 余分な書式: 3 エージェントタスク : 3.0 反AIトリック : 6.9 コーディング : 4.3 複合 : 6.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 3.5 ツール呼び出し : 10.0 雑学 : 3.0
#345#345	Mercury 2.5low	5.1	Inception	$0.020	3.34s
モデルカードを見る合計テスト数 23 誤答テスト数 17 信頼性 9.8 試行ごとの合格率 37.7% 不安定なテスト 5 入力トークン 326,083 出力トークン 7,224 推論トークン 33,078 応答時間（平均） 3.34s 応答時間（合計） 76.80s 応答時間（最大） 47.06s 不正解: 14 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 5.0 反AIトリック : 6.9 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 4.4 指示追従 : 2.9 パズル解決 : 5.9 ツール呼び出し : 9.8 雑学 : 3.0
#362#362	Qwen3.5-9Bnone	4.9	Qwen	$0.041	37.19s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 9.8 試行ごとの合格率 18.8% 不安定なテスト 1 入力トークン 307,670 出力トークン 70,427 推論トークン 0 応答時間（平均） 37.19s 応答時間（合計） 855.27s 応答時間（最大） 433.02s 不正解: 15 指示に従っていない: 2 無効なツール呼び出し: 2 エージェントタスク : 3.9 反AIトリック : 3.1 コーディング : 3.9 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0
#368#368	Nemotron 3.5 Lightningmedium	4.7	NVIDIA	$0.195 ↕	81.93s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 9.8 試行ごとの合格率 47.8% 不安定なテスト 12 入力トークン 195,780 出力トークン 167,746 推論トークン 598,384 応答時間（平均） 81.93s 応答時間（合計） 1884.31s 応答時間（最大） 437.11s 不正解: 13 指示に従っていない: 3 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 2.8 反AIトリック : 6.9 コーディング : 4.4 複合 : 6.2 データ解析と抽出 : 3.7 ドメイン特化 : 2.9 汎用知能 : 5.5 指示追従 : 8.5 パズル解決 : 4.2 ツール呼び出し : 10.0 雑学 : 3.0
#404#404	Ling 3.0 Tinydefault	3.8	Inclusionai	$0.000	13.39s
モデルカードを見る合計テスト数 23 誤答テスト数 21 信頼性 9.8 試行ごとの合格率 8.7% 不安定なテスト 0 入力トークン 184,579 出力トークン 110,071 推論トークン 0 応答時間（平均） 13.39s 応答時間（合計） 294.48s 応答時間（最大） 240.61s 不正解: 13 指示に従っていない: 4 API エラー: 2 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 4.8 コーディング : 4.2 複合 : 3.0 データ解析と抽出 : 6.3 ドメイン特化 : 3.0 汎用知能 : 3.4 指示追従 : 3.1 パズル解決 : 3.0 ツール呼び出し : 3.0 雑学 : 3.0
#406#406	Nemotron 3.5 Lightningnone	3.8	NVIDIA	$0.009 ↕	15.92s
モデルカードを見る合計テスト数 23 誤答テスト数 20 信頼性 9.8 試行ごとの合格率 15.9% 不安定なテスト 2 入力トークン 97,418 出力トークン 4,779 推論トークン 0 応答時間（平均） 15.92s 応答時間（合計） 366.20s 応答時間（最大） 339.57s 不正解: 16 無効なツール呼び出し: 2 指示に従っていない: 1 タイムアウト: 1 エージェントタスク : 3.0 反AIトリック : 4.8 コーディング : 3.1 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.4 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 2.8 雑学 : 3.0
#412#412	Laguna M.1default	3.6	Poolside	$0.009 ↕	2.89s
モデルカードを見る合計テスト数 19 誤答テスト数 15 信頼性 9.8 試行ごとの合格率 26.1% 不安定なテスト 3 入力トークン 38,147 出力トークン 2,054 推論トークン 0 応答時間（平均） 2.89s 応答時間（合計） 43.28s 応答時間（最大） 15.42s 不正解: 10 API エラー: 4 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 3.4 コーディング : 2.5 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 3.0 指示追従 : 6.3 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#4#4	GPT-6.1 Solmax	9.9	OpenAI	$1.006	61.98s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.7 試行ごとの合格率 95.7% 不安定なテスト 0 入力トークン 183,607 出力トークン 5,741 推論トークン 58,082 応答時間（平均） 61.98s 応答時間（合計） 1425.65s 応答時間（最大） 960.01s タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#41#41	Muse Wonderlow	9.1	Meta	$2.637	16.00s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.7 試行ごとの合格率 76.8% 不安定なテスト 1 入力トークン 244,997 出力トークン 11,148 推論トークン 71,699 応答時間（平均） 16.00s 応答時間（合計） 367.91s 応答時間（最大） 83.98s 不正解: 4 API エラー: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.9 ツール呼び出し : 9.8 雑学 : 3.0
#44#44	Muse Wonderminimal	9.1	Meta	$1.639	7.72s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.7 試行ごとの合格率 76.8% 不安定なテスト 2 入力トークン 238,532 出力トークン 9,812 推論トークン 24,412 応答時間（平均） 7.72s 応答時間（合計） 177.57s 応答時間（最大） 42.89s API エラー: 3 不正解: 3 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#63#63	DeepSeek V4.1 Flashhigh	8.7	DeepSeek	$0.617 ↑	33.27s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.7 試行ごとの合格率 75.4% 不安定なテスト 3 入力トークン 282,490 出力トークン 8,621 推論トークン 455,535 応答時間（平均） 33.27s 応答時間（合計） 765.12s 応答時間（最大） 205.53s 不正解: 5 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 6.4 ツール呼び出し : 10.0 雑学 : 3.0
#67#67	Qwen3.8 27Bhigh	8.7	Qwen	~$0.298	166.34s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.7 試行ごとの合格率 78.3% 不安定なテスト 2 入力トークン 348,967 出力トークン 1,005 推論トークン 676,075 応答時間（平均） 166.34s 応答時間（合計） 3825.81s 応答時間（最大） 640.85s 指示に従っていない: 2 回答なし: 2 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 8.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 9.8 パズル解決 : 7.6 ツール呼び出し : 10.0 雑学 : 3.0
#139#139	Qwen3.5 Plus 2026-04-20medium	7.7	Qwen	$0.435 ↓	54.06s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.7 試行ごとの合格率 65.2% 不安定なテスト 2 入力トークン 176,539 出力トークン 4,419 推論トークン 195,929 応答時間（平均） 54.06s 応答時間（合計） 1189.36s 応答時間（最大） 203.01s 不正解: 8 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 6.2 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 4.9 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#144#144	GPT-6 Lunalow	7.6	OpenAI	$0.033	23.23s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.7 試行ごとの合格率 63.8% 不安定なテスト 4 入力トークン 195,928 出力トークン 5,728 推論トークン 19,152 応答時間（平均） 23.23s 応答時間（合計） 534.22s 応答時間（最大） 89.37s 不正解: 7 API エラー: 2 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 6.9 コーディング : 6.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 4.4 指示追従 : 7.1 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#170#170	Qwen3.8 27Bmedium	7.2	Qwen	~$0.073	40.09s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.7 試行ごとの合格率 66.7% 不安定なテスト 2 入力トークン 277,164 出力トークン 1,913 推論トークン 168,783 応答時間（平均） 40.09s 応答時間（合計） 881.89s 応答時間（最大） 214.63s 不正解: 4 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 10.0 複合 : 8.7 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 10.0 パズル解決 : 8.3 ツール呼び出し : 3.0 雑学 : 3.0
#208#208	Grok 4.7xhigh	6.7	X AI	$3.398	123.96s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.7 試行ごとの合格率 73.9% 不安定なテスト 6 入力トークン 310,049 出力トークン 6,094 推論トークン 566,221 応答時間（平均） 123.96s 応答時間（合計） 2851.07s 応答時間（最大） 775.64s 回答なし: 4 不正解: 3 API エラー: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 8.7 コーディング : 5.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.7 指示追従 : 9.8 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#213#213	MiniMax M3medium	6.7	Minimax	$0.422 ↑	77.03s
モデルカードを見る合計テスト数 23 誤答テスト数 12 信頼性 9.7 試行ごとの合格率 59.4% 不安定なテスト 5 入力トークン 166,517 出力トークン 107,386 推論トークン 217,548 応答時間（平均） 77.03s 応答時間（合計） 1694.74s 応答時間（最大） 431.03s 不正解: 5 タイムアウト: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1 エージェントタスク : 3.0 反AIトリック : 5.5 コーディング : 6.1 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.2 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 7.9 ツール呼び出し : 10.0 雑学 : 3.0
#246#246	Mercury 2.5medium	6.4	Inception	$0.034	7.74s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.7 試行ごとの合格率 63.8% 不安定なテスト 5 入力トークン 317,982 出力トークン 3,918 推論トークン 135,028 応答時間（平均） 7.74s 応答時間（合計） 178.07s 応答時間（最大） 107.89s 不正解: 9 API エラー: 1 タイムアウト: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 5.0 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 4.4 指示追従 : 6.4 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#260#260	Ling 3.1 Flashlow	6.3	Inclusionai	$0.000	85.22s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.7 試行ごとの合格率 66.7% 不安定なテスト 6 入力トークン 271,890 出力トークン 190,841 推論トークン 513,329 応答時間（平均） 85.22s 応答時間（合計） 1960.12s 応答時間（最大） 432.81s 回答なし: 4 指示に従っていない: 3 不正解: 2 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 4.7 反AIトリック : 10.0 コーディング : 5.6 複合 : 6.6 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 3.0 指示追従 : 9.8 パズル解決 : 8.9 ツール呼び出し : 4.7 雑学 : 3.0
#298#298	DeepSeek V4.1 Flashnone	5.8	DeepSeek	$0.391 ↑	16.63s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 9.7 試行ごとの合格率 36.2% 不安定なテスト 3 入力トークン 337,756 出力トークン 292,779 推論トークン 0 応答時間（平均） 16.63s 応答時間（合計） 382.53s 応答時間（最大） 247.66s 不正解: 11 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1 エージェントタスク : 7.4 反AIトリック : 3.7 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 7.7 汎用知能 : 5.5 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow