AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-19 評価済みモデル数: 451

451/451

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#386#386	Nemotron 3 Supernone	4.5	NVIDIA	$0.016 ↑	7.11s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 9.5 試行ごとの合格率 27.5% 不安定なテスト 3 入力トークン 146,361 出力トークン 9,073 推論トークン 1 応答時間（平均） 7.11s 応答時間（合計） 163.46s 応答時間（最大） 30.51s 不正解: 16 指示に従っていない: 2 エージェントタスク : 2.8 反AIトリック : 4.8 コーディング : 3.3 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.6 指示追従 : 6.3 パズル解決 : 5.5 ツール呼び出し : 4.7 雑学 : 3.0
#30#30	Muse Spark Openhigh	9.2	Meta	$1.782	151.96s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.4 試行ごとの合格率 76.8% 不安定なテスト 1 入力トークン 270,889 出力トークン 10,688 推論トークン 328,857 応答時間（平均） 151.96s 応答時間（合計） 3495.01s 応答時間（最大） 960.01s タイムアウト: 2 不正解: 2 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 9.8 パズル解決 : 7.9 ツール呼び出し : 10.0 雑学 : 3.0
#71#71	DeepSeek V4.1 Flashmax	8.6	DeepSeek	$1.204 ↑	61.58s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.4 試行ごとの合格率 69.6% 不安定なテスト 2 入力トークン 414,054 出力トークン 7,635 推論トークン 900,536 応答時間（平均） 61.58s 応答時間（合計） 1416.24s 応答時間（最大） 335.08s 不正解: 6 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 5.5 ツール呼び出し : 10.0 雑学 : 3.0
#148#148	Seed-2.0-Minimedium	7.5	Bytedance Seed	$0.140	91.67s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.4 試行ごとの合格率 59.4% 不安定なテスト 3 入力トークン 313,368 出力トークン 12,289 推論トークン 259,270 応答時間（平均） 91.67s 応答時間（合計） 1833.43s 応答時間（最大） 301.78s 不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 6.6 コーディング : 5.5 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.1 指示追従 : 10.0 パズル解決 : 8.2 ツール呼び出し : 10.0 雑学 : 3.0
#394#394	GLM 4.7 Flashmedium	4.2	Z.ai	$0.193	150.90s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 9.4 試行ごとの合格率 30.4% 不安定なテスト 8 入力トークン 228,711 出力トークン 42,254 推論トークン 422,121 応答時間（平均） 150.90s 応答時間（合計） 2414.33s 応答時間（最大） 1539.97s 不正解: 10 回答なし: 3 指示に従っていない: 2 無効なツール呼び出し: 2 タイムアウト: 2 エージェントタスク : 3.9 反AIトリック : 4.7 コーディング : 3.2 複合 : 2.9 データ解析と抽出 : 6.3 ドメイン特化 : 3.5 汎用知能 : 3.6 指示追従 : 6.2 パズル解決 : 2.9 ツール呼び出し : 10.0 雑学 : 3.0
#433#433	Decider V1.2default	2.6	Perplexity	$0.001	517ms
モデルカードを見る合計テスト数 12 誤答テスト数 7 信頼性 9.4 試行ごとの合格率 24.6% 不安定なテスト 1 入力トークン 48,363 出力トークン 67 推論トークン 0 応答時間（平均） 517ms 応答時間（合計） 6.20s 応答時間（最大） 776ms 不正解: 5 API エラー: 1 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 5.8 コーディング : 4.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#439#439	Classify-1default	2.2	Scaledown	$0.008	4.58s
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 9.4 試行ごとの合格率 18.8% 不安定なテスト 2 入力トークン 195,645 出力トークン 164 推論トークン 0 応答時間（平均） 4.58s 応答時間（合計） 55.01s 応答時間（最大） 13.35s 不正解: 8 API エラー: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.7 複合 : 0.0 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#94#94	Kimi K3max	8.3	Moonshot AI	$3.409 ↓	139.41s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.3 試行ごとの合格率 78.3% 不安定なテスト 2 入力トークン 170,700 出力トークン 7,719 推論トークン 225,608 応答時間（平均） 139.41s 応答時間（合計） 2788.26s 応答時間（最大） 766.58s API エラー: 2 回答なし: 2 余分な書式: 1 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#134#134	Muse Wonderhigh	7.7	Meta	$3.426	22.96s
モデルカードを見る合計テスト数 23 誤答テスト数 8 信頼性 9.3 試行ごとの合格率 66.7% 不安定なテスト 1 入力トークン 94,153 出力トークン 9,606 推論トークン 142,834 応答時間（平均） 22.96s 応答時間（合計） 528.08s 応答時間（最大） 143.21s API エラー: 6 不正解: 2 エージェントタスク : 3.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 9.8 雑学 : 2.8
#393#393	MiniMax M2.5medium	4.3	Minimax	$0.440 ↑	102.32s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 9.3 試行ごとの合格率 42.0% 不安定なテスト 9 入力トークン 188,239 出力トークン 27,822 推論トークン 262,674 応答時間（平均） 102.32s 応答時間（合計） 1637.05s 応答時間（最大） 600.81s 不正解: 7 タイムアウト: 5 指示に従っていない: 3 回答なし: 2 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 7.9 コーディング : 3.4 複合 : 3.7 データ解析と抽出 : 4.6 ドメイン特化 : 2.9 汎用知能 : 3.8 指示追従 : 7.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 3.0
#147#147	GLM 5.1medium	7.5	Z.ai	$1.546 ↑	66.38s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 9.2 試行ごとの合格率 66.7% 不安定なテスト 4 入力トークン 331,577 出力トークン 17,919 推論トークン 230,789 応答時間（平均） 66.38s 応答時間（合計） 1460.31s 応答時間（最大） 308.75s 不正解: 5 タイムアウト: 2 API エラー: 1 余分な書式: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 4.6 複合 : 9.8 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 10.0 指示追従 : 6.4 パズル解決 : 8.2 ツール呼び出し : 3.0 雑学 : 3.0
#332#332	Granite 4.2 8Blow	5.3	IBM Granite	$0.036	58.20s
モデルカードを見る合計テスト数 23 誤答テスト数 16 信頼性 9.2 試行ごとの合格率 33.3% 不安定なテスト 1 入力トークン 332,917 出力トークン 18,989 推論トークン 42,362 応答時間（平均） 58.20s 応答時間（合計） 1338.65s 応答時間（最大） 566.80s 不正解: 11 タイムアウト: 3 指示に従っていない: 1 回答なし: 1 エージェントタスク : 6.1 反AIトリック : 8.3 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 3.0 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#32#32	Muse Wondermedium	9.2	Meta	$3.397	21.58s
モデルカードを見る合計テスト数 23 誤答テスト数 6 信頼性 9.1 試行ごとの合格率 76.8% 不安定なテスト 1 入力トークン 241,489 出力トークン 11,575 推論トークン 109,971 応答時間（平均） 21.58s 応答時間（合計） 496.40s 応答時間（最大） 162.73s API エラー: 4 不正解: 2 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 10.0 指示追従 : 6.6 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 4.7
#142#142	Muse Wonderxhigh	7.7	Meta	$4.012	34.40s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 9.1 試行ごとの合格率 65.2% 不安定なテスト 2 入力トークン 93,060 出力トークン 10,305 推論トークン 171,683 応答時間（平均） 34.40s 応答時間（合計） 791.16s 応答時間（最大） 236.64s API エラー: 6 不正解: 3 エージェントタスク : 3.0 反AIトリック : 8.3 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.6 汎用知能 : 10.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 2.8
#389#389	Granite 4.2 8Bnone	4.4	IBM Granite	$0.037	84.66s
モデルカードを見る合計テスト数 23 誤答テスト数 20 信頼性 9.1 試行ごとの合格率 15.9% 不安定なテスト 2 入力トークン 226,872 出力トークン 133,268 推論トークン 0 応答時間（平均） 84.66s 応答時間（合計） 1947.17s 応答時間（最大） 747.17s 不正解: 11 余分な書式: 4 タイムアウト: 3 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 5.0 反AIトリック : 4.9 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 2.9 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 3.0 パズル解決 : 3.0 ツール呼び出し : 10.0 雑学 : 3.0
#124#124	Muse Wondermax	7.9	Meta	$4.766	44.39s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.0 試行ごとの合格率 75.4% 不安定なテスト 3 入力トークン 93,126 出力トークン 10,497 推論トークン 209,138 応答時間（平均） 44.39s 応答時間（合計） 1021.02s 応答時間（最大） 287.79s API エラー: 4 不正解: 2 指示に従っていない: 1 エージェントタスク : 3.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 7.5 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 2.8
#149#149	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.0 試行ごとの合格率 65.2% 不安定なテスト 6 入力トークン 230,895 出力トークン 161,281 推論トークン 510,655 応答時間（平均） 263.69s 応答時間（合計） 6064.89s 応答時間（最大） 1727.29s 不正解: 6 指示に従っていない: 2 回答なし: 2 タイムアウト: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 3.3 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 10.0 指示追従 : 8.4 パズル解決 : 5.4 ツール呼び出し : 10.0 雑学 : 3.0
#150#150	Seed-2.0-Codehigh	7.5	Bytedance Seed	$1.448	124.87s
モデルカードを見る合計テスト数 23 誤答テスト数 11 信頼性 9.0 試行ごとの合格率 65.2% 不安定なテスト 5 入力トークン 297,321 出力トークン 8,997 推論トークン 423,853 応答時間（平均） 124.87s 応答時間（合計） 2871.96s 応答時間（最大） 675.30s 不正解: 6 API エラー: 3 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.3 コーディング : 6.2 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 4.6 指示追従 : 9.8 パズル解決 : 7.8 ツール呼び出し : 4.7 雑学 : 3.0
#322#322	Seed-2.0-Codenone	5.4	Bytedance Seed	$0.257	17.51s
モデルカードを見る合計テスト数 23 誤答テスト数 17 信頼性 9.0 試行ごとの合格率 37.7% 不安定なテスト 6 入力トークン 319,668 出力トークン 32,069 推論トークン 0 応答時間（平均） 17.51s 応答時間（合計） 402.66s 応答時間（最大） 132.84s 不正解: 12 余分な書式: 2 指示に従っていない: 2 回答なし: 1 エージェントタスク : 6.1 反AIトリック : 3.0 コーディング : 3.6 複合 : 3.0 データ解析と抽出 : 10.0 ドメイン特化 : 3.5 汎用知能 : 5.0 指示追従 : 6.2 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 3.0
#105#105	Seed-2.0-Codelow	8.1	Bytedance Seed	$0.881	73.02s
モデルカードを見る合計テスト数 23 誤答テスト数 9 信頼性 8.9 試行ごとの合格率 78.3% 不安定なテスト 6 入力トークン 237,604 出力トークン 9,617 推論トークン 244,190 応答時間（平均） 73.02s 応答時間（合計） 1679.49s 応答時間（最大） 485.92s 不正解: 7 API エラー: 1 指示に従っていない: 1 エージェントタスク : 10.0 反AIトリック : 8.7 コーディング : 7.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 4.1 汎用知能 : 6.5 指示追従 : 9.8 パズル解決 : 9.9 ツール呼び出し : 10.0 雑学 : 3.0
#280#280	Granite 4.2 8Bmedium	6.1	IBM Granite	$0.029	50.47s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 8.9 試行ごとの合格率 37.7% 不安定なテスト 1 入力トークン 259,708 出力トークン 16,567 推論トークン 33,580 応答時間（平均） 50.47s 応答時間（合計） 1160.91s 応答時間（最大） 557.96s 不正解: 9 タイムアウト: 4 指示に従っていない: 1 回答なし: 1 エージェントタスク : 10.0 反AIトリック : 8.4 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 4.0 指示追従 : 3.8 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#325#325	North Mini Codemedium	5.4	Cohere	$0.000	140.39s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 8.9 試行ごとの合格率 42.0% 不安定なテスト 4 入力トークン 166,347 出力トークン 423,884 推論トークン 1,394,387 応答時間（平均） 140.39s 応答時間（合計） 3229.07s 応答時間（最大） 786.72s 不正解: 10 余分な書式: 2 API エラー: 1 無効なツール呼び出し: 1 タイムアウト: 1 エージェントタスク : 3.9 反AIトリック : 8.4 コーディング : 4.5 複合 : 2.9 データ解析と抽出 : 10.0 ドメイン特化 : 2.9 汎用知能 : 5.1 指示追従 : 9.8 パズル解決 : 3.3 ツール呼び出し : 10.0 雑学 : 3.0
#369#369	North Mini Codedefault	4.7	Cohere	$0.000	29.47s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 8.9 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 177,989 出力トークン 26,954 推論トークン 0 応答時間（平均） 29.47s 応答時間（合計） 677.70s 応答時間（最大） 159.85s 不正解: 13 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2 エージェントタスク : 3.0 反AIトリック : 3.0 コーディング : 3.9 複合 : 3.2 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 3.9 指示追従 : 6.5 パズル解決 : 3.5 ツール呼び出し : 9.5 雑学 : 3.0
#188#188	Ember-1low	7.0	Fireworks	$1.488	34.90s
モデルカードを見る合計テスト数 23 誤答テスト数 10 信頼性 8.8 試行ごとの合格率 65.2% 不安定なテスト 5 入力トークン 211,908 出力トークン 14,158 推論トークン 42,608 応答時間（平均） 34.90s 応答時間（合計） 802.79s 応答時間（最大） 121.29s API エラー: 6 不正解: 3 無効なツール呼び出し: 1 エージェントタスク : 4.7 反AIトリック : 8.2 コーディング : 10.0 複合 : 6.5 データ解析と抽出 : 7.3 ドメイン特化 : 2.9 汎用知能 : 10.0 指示追従 : 6.2 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0
#329#329	Ember-1none	5.4	Fireworks	$0.786	22.65s
モデルカードを見る合計テスト数 23 誤答テスト数 15 信頼性 8.8 試行ごとの合格率 43.5% 不安定なテスト 4 入力トークン 202,617 出力トークン 11,832 推論トークン 0 応答時間（平均） 22.65s 応答時間（合計） 520.91s 応答時間（最大） 93.12s 不正解: 10 API エラー: 5 エージェントタスク : 6.1 反AIトリック : 5.2 コーディング : 5.5 複合 : 3.0 データ解析と抽出 : 6.4 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.4 パズル解決 : 10.0 ツール呼び出し : 3.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow