ドメイン特化 x タイムアウトランキング | AI BENCHY

ドメイン特化でタイムアウトが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

6

総失敗数

42

最も影響を受けたモデル

失敗理由

不正解659 タイムアウト42 回答なし35 余分な書式23 API エラー17 指示に従っていない2

カテゴリ

ドメイン特化42 コーディング29 パズル解決11 複合9 反AIトリック6 指示追従5 汎用知能4 データ解析と抽出2 雑学1

36/36

順位	モデル	企業	タイムアウト件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#217	Nemotron 3 Super medium	NVIDIA	1	2.9	$0.050	0/3	19.4s
合計テスト数 3 誤答テスト数 3 合計コスト $0.050 応答時間（平均） 19.4s
#231	KAT-Coder-Air V2.5 medium	Kwaipilot	1	3.0	$0.048	0/3	6.58s
合計テスト数 3 誤答テスト数 3 合計コスト $0.048 応答時間（平均） 6.58s
#282	Hunter Alpha medium	OpenRouter	1	3.0	$0.000	0/3	10.5s
合計テスト数 3 誤答テスト数 3 合計コスト $0.000 応答時間（平均） 10.5s
#283	Grok 4.1 Fast medium	X AI	1	5.8	$0.069	1/3	121.8s
合計テスト数 3 誤答テスト数 2 合計コスト $0.069 応答時間（平均） 121.8s
#287	Granite 4.2 8B high	IBM Granite	1	2.9	$0.084	0/3	167.2s
合計テスト数 3 誤答テスト数 3 合計コスト $0.084 応答時間（平均） 167.2s
#289	MiniMax M2.5 medium	Minimax	1	2.9	$0.327	0/3	158.9s
合計テスト数 3 誤答テスト数 3 合計コスト $0.327 応答時間（平均） 158.9s

タイムアウト件数上位モデル

タイムアウト件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル