AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-17 評価済みモデル数: 442

442/442

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 73,557 出力トークン 69 推論トークン 0 応答時間（平均） 320ms 応答時間（合計） 3.84s 応答時間（最大） 491ms 不正解: 8 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 4.9 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#441#441	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
モデルカードを見る合計テスト数 7 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 4.4% 不安定なテスト 0 入力トークン 103,770 出力トークン 0 推論トークン 0 応答時間（平均） 363ms 応答時間（合計） 2.54s 応答時間（最大） 1.24s 不正解: 5 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 2.5 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 2.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#429#429	Jev 1.14default	2.3	Typesafe	$0.003	377ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 23.2% 不安定なテスト 2 入力トークン 67,092 出力トークン 18,927 推論トークン 0 応答時間（平均） 377ms 応答時間（合計） 4.52s 応答時間（最大） 546ms 不正解: 7 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.7 複合 : 0.0 データ解析と抽出 : 7.3 ドメイン特化 : 7.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#432#432	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 49,176 出力トークン 69 推論トークン 0 応答時間（平均） 462ms 応答時間（合計） 5.55s 応答時間（最大） 661ms 不正解: 9 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#427#427	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 47,583 出力トークン 0 推論トークン 0 応答時間（平均） 495ms 応答時間（合計） 5.94s 応答時間（最大） 842ms 不正解: 8 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 2.3 コーディング : 2.5 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#440#440	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
モデルカードを見る合計テスト数 7 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 33,864 出力トークン 96 推論トークン 0 応答時間（平均） 498ms 応答時間（合計） 3.49s 応答時間（最大） 602ms 不正解: 4 エージェントタスク : 0.0 反AIトリック : 2.5 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 6.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
モデルカードを見る合計テスト数 12 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 11.6% 不安定なテスト 1 入力トークン 55,956 出力トークン 0 推論トークン 0 応答時間（平均） 508ms 応答時間（合計） 6.10s 応答時間（最大） 820ms 不正解: 10 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
モデルカードを見る合計テスト数 12 誤答テスト数 7 信頼性 9.4 試行ごとの合格率 24.6% 不安定なテスト 1 入力トークン 48,363 出力トークン 67 推論トークン 0 応答時間（平均） 517ms 応答時間（合計） 6.20s 応答時間（最大） 776ms 不正解: 5 API エラー: 1 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 5.8 コーディング : 4.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.9 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 20.3% 不安定なテスト 1 入力トークン 55,956 出力トークン 0 推論トークン 0 応答時間（平均） 531ms 応答時間（合計） 6.38s 応答時間（最大） 697ms 不正解: 7 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 5.3 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
モデルカードを見る合計テスト数 12 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 26.1% 不安定なテスト 0 入力トークン 67,092 出力トークン 18,927 推論トークン 0 応答時間（平均） 698ms 応答時間（合計） 8.38s 応答時間（最大） 1.08s 不正解: 6 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 3.3 ツール呼び出し : 0.0 雑学 : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
モデルカードを見る合計テスト数 19 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 14.5% 不安定なテスト 2 入力トークン 11,661 出力トークン 1,302 推論トークン 0 応答時間（平均） 728ms 応答時間（合計） 9.47s 応答時間（最大） 2.21s 不正解: 9 API エラー: 6 指示に従っていない: 2 エージェントタスク : 0.0 反AIトリック : 4.8 コーディング : 3.3 複合 : 1.5 データ解析と抽出 : 3.8 ドメイン特化 : 3.6 汎用知能 : 3.0 指示追従 : 4.8 パズル解決 : 3.0 ツール呼び出し : 3.0 雑学 : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
モデルカードを見る合計テスト数 16 誤答テスト数 14 信頼性該当なし試行ごとの合格率 11.6% 不安定なテスト 1 入力トークン 10,771 出力トークン 1,173 推論トークン 0 応答時間（平均） 782ms 応答時間（合計） 10.94s 応答時間（最大） 3.15s 不正解: 9 API エラー: 4 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 2.5 コーディング : 0.0 複合 : 1.5 データ解析と抽出 : 3.0 ドメイン特化 : 5.9 汎用知能 : 4.0 指示追従 : 6.3 パズル解決 : 3.8 ツール呼び出し : 3.0 雑学 : 0.0
#416#416	Laguna Xs.2default	3.1	Poolside	$0.004 ↕	806ms
モデルカードを見る合計テスト数 19 誤答テスト数 14 信頼性 10.0 試行ごとの合格率 21.7% 不安定なテスト 0 入力トークン 33,675 出力トークン 2,826 推論トークン 0 応答時間（平均） 806ms 応答時間（合計） 12.09s 応答時間（最大） 2.01s 不正解: 8 API エラー: 4 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 3.0 コーディング : 0.8 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 3.0 指示追従 : 6.5 パズル解決 : 5.3 ツール呼び出し : 3.0 雑学 : 3.0
#431#431	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
モデルカードを見る合計テスト数 12 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 8.7% 不安定なテスト 0 入力トークン 70,125 出力トークン 0 推論トークン 0 応答時間（平均） 880ms 応答時間（合計） 10.56s 応答時間（最大） 1.31s 不正解: 9 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
モデルカードを見る合計テスト数 12 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 7.3% 不安定なテスト 1 入力トークン 41,466 出力トークン 69 推論トークン 0 応答時間（平均） 982ms 応答時間（合計） 11.78s 応答時間（最大） 1.41s 不正解: 11 エージェントタスク : 0.0 反AIトリック : 4.4 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 3.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 42,804 出力トークン 27,468 推論トークン 0 応答時間（平均） 986ms 応答時間（合計） 11.84s 応答時間（最大） 1.38s 不正解: 8 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 4.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#407#407	Grok 4.20none	3.4	X AI	$0.057 ↓	1.11s
モデルカードを見る合計テスト数 18 誤答テスト数 12 信頼性該当なし試行ごとの合格率 26.1% 不安定なテスト 0 入力トークン 41,313 出力トークン 1,923 推論トークン 0 応答時間（平均） 1.11s 応答時間（合計） 19.96s 応答時間（最大） 6.04s 不正解: 10 余分な書式: 1 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 4.8 コーディング : 1.1 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 4.8 指示追従 : 6.3 パズル解決 : 5.3 ツール呼び出し : 10.0 雑学 : 0.0
#382#382	Mercury 2none	4.4	Inception	$0.033	1.18s
モデルカードを見る合計テスト数 23 誤答テスト数 19 信頼性 10.0 試行ごとの合格率 23.2% 不安定なテスト 2 入力トークン 100,634 出力トークン 9,609 推論トークン 100 応答時間（平均） 1.18s 応答時間（合計） 27.14s 応答時間（最大） 9.00s 不正解: 17 指示に従っていない: 2 エージェントタスク : 3.0 反AIトリック : 3.0 コーディング : 3.4 複合 : 3.0 データ解析と抽出 : 7.3 ドメイン特化 : 5.9 汎用知能 : 4.8 指示追従 : 6.5 パズル解決 : 3.1 ツール呼び出し : 10.0 雑学 : 3.0
#402#402	Grok 4.20 Betadefault	3.6	X AI	$0.087 ↓	1.19s
モデルカードを見る合計テスト数 18 誤答テスト数 12 信頼性該当なし試行ごとの合格率 29.0% 不安定なテスト 1 入力トークン 40,597 出力トークン 1,657 推論トークン 0 応答時間（平均） 1.19s 応答時間（合計） 21.43s 応答時間（最大） 6.48s 不正解: 10 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 1.8 複合 : 1.5 データ解析と抽出 : 10.0 ドメイン特化 : 3.0 汎用知能 : 5.0 指示追従 : 6.3 パズル解決 : 7.7 ツール呼び出し : 10.0 雑学 : 0.0
#404#404	Elephant Alphadefault	3.6	Openrouter	$0.000	1.22s
モデルカードを見る合計テスト数 21 誤答テスト数 16 信頼性該当なし試行ごとの合格率 24.6% 不安定なテスト 1 入力トークン 33,743 出力トークン 2,573 推論トークン 0 応答時間（平均） 1.22s 応答時間（合計） 22.03s 応答時間（最大） 3.81s 不正解: 9 API エラー: 3 指示に従っていない: 3 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 6.6 コーディング : 4.2 複合 : 1.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 9.8 パズル解決 : 4.2 ツール呼び出し : 3.0 雑学 : 3.0
#405#405	Elephant Alphamedium	3.5	Openrouter	$0.000	1.27s
モデルカードを見る合計テスト数 21 誤答テスト数 15 信頼性該当なし試行ごとの合格率 27.5% 不安定なテスト 1 入力トークン 33,744 出力トークン 2,596 推論トークン 0 応答時間（平均） 1.27s 応答時間（合計） 22.82s 応答時間（最大） 3.70s 不正解: 9 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 0.0 反AIトリック : 6.6 コーディング : 3.7 複合 : 1.5 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 4.3 指示追従 : 9.8 パズル解決 : 5.3 ツール呼び出し : 3.0 雑学 : 3.0
#437#437	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
モデルカードを見る合計テスト数 7 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 47,586 出力トークン 51 推論トークン 0 応答時間（平均） 1.33s 応答時間（合計） 9.32s 応答時間（最大） 1.66s 不正解: 4 エージェントタスク : 0.0 反AIトリック : 0.8 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.4 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#419#419	Span-02default	2.8	Respan	$0.001	1.36s
モデルカードを見る合計テスト数 12 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 26.1% 不安定なテスト 0 入力トークン 70,626 出力トークン 0 推論トークン 0 応答時間（平均） 1.36s 応答時間（合計） 16.37s 応答時間（最大） 5.71s 不正解: 6 エージェントタスク : 0.0 反AIトリック : 5.8 コーディング : 4.9 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 5.0 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#396#396	Granite 4.1 8bdefault	3.8	IBM Granite	$0.007	1.38s
モデルカードを見る合計テスト数 23 誤答テスト数 21 信頼性 10.0 試行ごとの合格率 8.7% 不安定なテスト 0 入力トークン 113,836 出力トークン 5,996 推論トークン 0 応答時間（平均） 1.38s 応答時間（合計） 31.81s 応答時間（最大） 16.67s 不正解: 13 指示に従っていない: 4 無効なツール呼び出し: 2 API エラー: 1 余分な書式: 1 エージェントタスク : 3.0 反AIトリック : 4.9 コーディング : 4.5 複合 : 3.0 データ解析と抽出 : 3.0 ドメイン特化 : 3.0 汎用知能 : 4.0 指示追従 : 3.6 パズル解決 : 3.2 ツール呼び出し : 10.0 雑学 : 3.0
#347#347	Inkling Smallnone	4.9	Thinkingmachines	$0.054 ↓	1.45s
モデルカードを見る合計テスト数 23 誤答テスト数 18 信頼性 10.0 試行ごとの合格率 23.2% 不安定なテスト 1 入力トークン 94,733 出力トークン 7,087 推論トークン 1,683 応答時間（平均） 1.45s 応答時間（合計） 33.24s 応答時間（最大） 12.35s 不正解: 15 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1 エージェントタスク : 3.0 反AIトリック : 3.1 コーディング : 3.6 複合 : 6.5 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 5.0 指示追従 : 6.3 パズル解決 : 3.2 ツール呼び出し : 3.0 雑学 : 3.0

1 2 18

→

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow