AI Benchy リーダーボード

Name: AI BENCHY モデルベンチマーク結果
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

ベンチマークは AI BENCHY テストスイートから次の日時に生成: 2026-10-19 評価済みモデル数: 451

451/451

順位	モデル	スコア	企業	合計コスト	応答時間（平均）
#430#430	d1-ultradefault	2.7	Liquid	$0.003	531ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 20.3% 不安定なテスト 1 入力トークン 55,956 出力トークン 0 推論トークン 0 応答時間（平均） 531ms 応答時間（合計） 6.38s 応答時間（最大） 697ms 不正解: 7 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 5.3 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#431#431	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
モデルカードを見る合計テスト数 19 誤答テスト数 17 信頼性 10.0 試行ごとの合格率 14.5% 不安定なテスト 2 入力トークン 11,661 出力トークン 1,302 推論トークン 0 応答時間（平均） 728ms 応答時間（合計） 9.47s 応答時間（最大） 2.21s 不正解: 9 API エラー: 6 指示に従っていない: 2 エージェントタスク : 0.0 反AIトリック : 4.8 コーディング : 3.3 複合 : 1.5 データ解析と抽出 : 3.8 ドメイン特化 : 3.6 汎用知能 : 3.0 指示追従 : 4.8 パズル解決 : 3.0 ツール呼び出し : 3.0 雑学 : 3.0
#432#432	Jev 1.13default	2.6	Typesafe	$0.003	698ms
モデルカードを見る合計テスト数 12 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 26.1% 不安定なテスト 0 入力トークン 67,092 出力トークン 18,927 推論トークン 0 応答時間（平均） 698ms 応答時間（合計） 8.38s 応答時間（最大） 1.08s 不正解: 6 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 3.3 ツール呼び出し : 0.0 雑学 : 0.0
#434#434	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 73,557 出力トークン 69 推論トークン 0 応答時間（平均） 320ms 応答時間（合計） 3.84s 応答時間（最大） 491ms 不正解: 8 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 4.9 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#435#435	Drex v1.5default	2.4	Nace AI	$0.002	986ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 17.4% 不安定なテスト 0 入力トークン 42,804 出力トークン 27,468 推論トークン 0 応答時間（平均） 986ms 応答時間（合計） 11.84s 応答時間（最大） 1.38s 不正解: 8 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 4.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#436#436	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 47,583 出力トークン 0 推論トークン 0 応答時間（平均） 495ms 応答時間（合計） 5.94s 応答時間（最大） 842ms 不正解: 8 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 2.3 コーディング : 2.5 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#437#437	Kev 4Bdefault	2.4	Jaredpalmer	$0.002	5.63s
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 15.9% 不安定なテスト 1 入力トークン 42,804 出力トークン 28,061 推論トークン 0 応答時間（平均） 5.63s 応答時間（合計） 67.61s 応答時間（最大） 17.79s 不正解: 9 エージェントタスク : 0.0 反AIトリック : 2.3 コーディング : 4.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 2.0 ツール呼び出し : 0.0 雑学 : 0.0
#438#438	Jev 1.14default	2.3	Typesafe	$0.003	377ms
モデルカードを見る合計テスト数 12 誤答テスト数 8 信頼性 10.0 試行ごとの合格率 23.2% 不安定なテスト 2 入力トークン 67,092 出力トークン 18,927 推論トークン 0 応答時間（平均） 377ms 応答時間（合計） 4.52s 応答時間（最大） 546ms 不正解: 7 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.7 複合 : 0.0 データ解析と抽出 : 7.3 ドメイン特化 : 7.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#440#440	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
モデルカードを見る合計テスト数 12 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 8.7% 不安定なテスト 0 入力トークン 70,125 出力トークン 0 推論トークン 0 応答時間（平均） 880ms 応答時間（合計） 10.56s 応答時間（最大） 1.31s 不正解: 9 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.5 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#441#441	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
モデルカードを見る合計テスト数 12 誤答テスト数 9 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 49,176 出力トークン 69 推論トークン 0 応答時間（平均） 462ms 応答時間（合計） 5.55s 応答時間（最大） 661ms 不正解: 9 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 5.3 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#442#442	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
モデルカードを見る合計テスト数 12 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 26.1% 不安定なテスト 0 入力トークン 1,971 出力トークン 50,509 推論トークン 33,867 応答時間（平均） 39.03s 応答時間（合計） 312.26s 応答時間（最大） 114.12s API エラー: 4 指示に従っていない: 1 不正解: 1 エージェントタスク : 0.0 反AIトリック : 10.0 コーディング : 1.0 複合 : 1.5 データ解析と抽出 : 1.5 ドメイン特化 : 3.3 汎用知能 : 4.0 指示追従 : 5.0 パズル解決 : 0.0 ツール呼び出し : 3.0 雑学 : 3.0
#443#443	D1default	1.9	Liquid	$0.003	508ms
モデルカードを見る合計テスト数 12 誤答テスト数 10 信頼性 10.0 試行ごとの合格率 11.6% 不安定なテスト 1 入力トークン 55,956 出力トークン 0 推論トークン 0 応答時間（平均） 508ms 応答時間（合計） 6.10s 応答時間（最大） 820ms 不正解: 10 エージェントタスク : 0.0 反AIトリック : 4.0 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 6.5 ドメイン特化 : 3.6 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#444#444	Gemini 3 Flash Previewhigh	1.8	Google	$0.105	52.45s
モデルカードを見る合計テスト数 1 誤答テスト数 0 信頼性 10.0 試行ごとの合格率 4.4% 不安定なテスト 0 入力トークン 134,050 出力トークン 1,029 推論トークン 11,528 応答時間（平均） 52.45s 応答時間（合計） 52.45s 応答時間（最大） 52.45s エージェントタスク : 10.0 反AIトリック : 0.0 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 0.0 ドメイン特化 : 0.0 汎用知能 : 0.0 指示追従 : 0.0 パズル解決 : 0.0 ツール呼び出し : 0.0 雑学 : 0.0
#446#446	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
モデルカードを見る合計テスト数 7 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 47,586 出力トークン 51 推論トークン 0 応答時間（平均） 1.33s 応答時間（合計） 9.32s 応答時間（最大） 1.66s 不正解: 4 エージェントタスク : 0.0 反AIトリック : 0.8 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 10.0 ドメイン特化 : 4.4 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#447#447	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
モデルカードを見る合計テスト数 12 誤答テスト数 11 信頼性 10.0 試行ごとの合格率 7.3% 不安定なテスト 1 入力トークン 41,466 出力トークン 69 推論トークン 0 応答時間（平均） 982ms 応答時間（合計） 11.78s 応答時間（最大） 1.41s 不正解: 11 エージェントタスク : 0.0 反AIトリック : 4.4 コーディング : 2.2 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 3.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#448#448	Solar Decidedefault	1.0	Upstage	$0.009 ↑	6.01s
モデルカードを見る合計テスト数 7 誤答テスト数 5 信頼性 10.0 試行ごとの合格率 14.5% 不安定なテスト 3 入力トークン 47,586 出力トークン 51 推論トークン 0 応答時間（平均） 6.01s 応答時間（合計） 42.05s 応答時間（最大） 13.10s 不正解: 5 エージェントタスク : 0.0 反AIトリック : 0.8 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 3.7 ドメイン特化 : 4.3 汎用知能 : 0.0 指示追従 : 5.0 パズル解決 : 1.0 ツール呼び出し : 0.0 雑学 : 0.0
#449#449	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
モデルカードを見る合計テスト数 7 誤答テスト数 4 信頼性 10.0 試行ごとの合格率 13.0% 不安定なテスト 0 入力トークン 33,864 出力トークン 96 推論トークン 0 応答時間（平均） 498ms 応答時間（合計） 3.49s 応答時間（最大） 602ms 不正解: 4 エージェントタスク : 0.0 反AIトリック : 2.5 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 6.7 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#450#450	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
モデルカードを見る合計テスト数 7 誤答テスト数 6 信頼性 10.0 試行ごとの合格率 4.4% 不安定なテスト 0 入力トークン 103,770 出力トークン 0 推論トークン 0 応答時間（平均） 363ms 応答時間（合計） 2.54s 応答時間（最大） 1.24s 不正解: 5 指示に従っていない: 1 エージェントタスク : 0.0 反AIトリック : 2.5 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 3.0 ドメイン特化 : 2.0 汎用知能 : 0.0 指示追従 : 1.5 パズル解決 : 1.7 ツール呼び出し : 0.0 雑学 : 0.0
#451#451	Claude Opus 5.5none	0.2	Anthropic	$0.015	13.58s
モデルカードを見る合計テスト数 1 誤答テスト数 0 信頼性 10.0 試行ごとの合格率 4.4% 不安定なテスト 0 入力トークン 73 出力トークン 6 推論トークン 729 応答時間（平均） 13.58s 応答時間（合計） 13.58s 応答時間（最大） 13.58s エージェントタスク : 0.0 反AIトリック : 0.0 コーディング : 0.0 複合 : 0.0 データ解析と抽出 : 0.0 ドメイン特化 : 3.3 汎用知能 : 0.0 指示追従 : 0.0 パズル解決 : 0.0 ツール呼び出し : 0.0 雑学 : 0.0
#7#7	GPT-6 Astrahigh	9.9	OpenAI	$4.458	20.16s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.9 試行ごとの合格率 97.1% 不安定なテスト 1 入力トークン 167,805 出力トークン 5,651 推論トークン 49,944 応答時間（平均） 20.16s 応答時間（合計） 463.68s 応答時間（最大） 254.93s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#8#8	GPT-6 Astraxhigh	9.9	OpenAI	$6.213	29.67s
モデルカードを見る合計テスト数 23 誤答テスト数 1 信頼性 9.9 試行ごとの合格率 97.1% 不安定なテスト 1 入力トークン 170,731 出力トークン 5,865 推論トークン 84,230 応答時間（平均） 29.67s 応答時間（合計） 682.42s 応答時間（最大） 381.11s 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.6 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#14#14	GPT-6 Astralow	9.6	OpenAI	$2.160	7.01s
モデルカードを見る合計テスト数 23 誤答テスト数 2 信頼性 9.9 試行ごとの合格率 91.3% 不安定なテスト 0 入力トークン 159,023 出力トークン 4,935 推論トークン 6,454 応答時間（平均） 7.01s 応答時間（合計） 161.20s 応答時間（最大） 49.16s 不正解: 2 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 7.7 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0
#17#17	Gemini 4 Argonhigh	9.5	Google	$1.802	19.03s
モデルカードを見る合計テスト数 23 誤答テスト数 2 信頼性 9.9 試行ごとの合格率 97.1% 不安定なテスト 2 入力トークン 240,264 出力トークン 5,707 推論トークン 126,366 応答時間（平均） 19.03s 応答時間（合計） 437.77s 応答時間（最大） 82.53s API エラー: 1 不正解: 1 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 7.3 データ解析と抽出 : 10.0 ドメイン特化 : 8.2 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 10.0
#21#21	GPT-6 Astramedium	9.5	OpenAI	$2.707	9.90s
モデルカードを見る合計テスト数 23 誤答テスト数 3 信頼性 9.9 試行ごとの合格率 91.3% 不安定なテスト 2 入力トークン 165,464 出力トークン 5,591 推論トークン 15,454 応答時間（平均） 9.90s 応答時間（合計） 227.67s 応答時間（最大） 73.48s 不正解: 3 エージェントタスク : 10.0 反AIトリック : 10.0 コーディング : 10.0 複合 : 10.0 データ解析と抽出 : 10.0 ドメイン特化 : 5.9 汎用知能 : 10.0 指示追従 : 10.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 2.8
#54#54	Muse Spark Openlow	8.9	Meta	$0.600	21.62s
モデルカードを見る合計テスト数 23 誤答テスト数 7 信頼性 9.9 試行ごとの合格率 76.8% 不安定なテスト 3 入力トークン 278,684 出力トークン 10,151 推論トークン 48,907 応答時間（平均） 21.62s 応答時間（合計） 497.25s 応答時間（最大） 119.16s 不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1 エージェントタスク : 10.0 反AIトリック : 9.2 コーディング : 10.0 複合 : 8.4 データ解析と抽出 : 10.0 ドメイン特化 : 5.3 汎用知能 : 6.1 指示追従 : 8.0 パズル解決 : 10.0 ツール呼び出し : 10.0 雑学 : 3.0

ベンチマーク全体の推移

現在のモデルがスコア、コスト、速度、出力の長さ、カテゴリ別性能をどう両立しているか確認できます。

チャート →

知能とコストのパレートフロンティア

主要企業の最高スコアの推移

知能と応答速度のパレートフロンティア

スコアと出力トークンのパレートフロンティア

モデル全体で見たカテゴリ難易度

クイック比較

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow