反AIトリック x タイムアウトランキング | AI BENCHY

反AIトリックでタイムアウトが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

6

総失敗数

8

最も影響を受けたモデル

Granite 4.2 8B 2

失敗理由

不正解502 指示に従っていない52 API エラー44 余分な書式34 回答なし13 タイムアウト8

カテゴリ

ドメイン特化46 コーディング26 エージェントタスク11 パズル解決11 複合11 反AIトリック8 指示追従5 汎用知能4 データ解析と抽出2 雑学2

6/6

順位	モデル	企業	タイムアウト件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#362	Granite 4.2 8B high	IBM Granite	2	0.7	$0.111	2/4	205.3s
合計テスト数 4 誤答テスト数 2 合計コスト $0.111 応答時間（平均） 205.3s
#390	Qwen3.5-9B medium	Qwen	2	0.5	$0.106	1/4	34.4s
合計テスト数 4 誤答テスト数 3 合計コスト $0.106 応答時間（平均） 34.4s
#30	Muse Spark Open high	Meta	1	0.8	$1.782	3/4	253.0s
合計テスト数 4 誤答テスト数 1 合計コスト $1.782 応答時間（平均） 253.0s
#61	Muse Spark Open medium	Meta	1	0.7	$1.260	2/4	175.4s
合計テスト数 4 誤答テスト数 2 合計コスト $1.260 応答時間（平均） 175.4s
#145	Seed-2.0-Mini medium	Bytedance Seed	1	0.7	$0.140	2/4	74.7s
合計テスト数 4 誤答テスト数 2 合計コスト $0.140 応答時間（平均） 74.7s
#384	MiniMax M2.5 medium	Minimax	1	0.8	$0.440	2/4	20.8s
合計テスト数 4 誤答テスト数 2 合計コスト $0.440 応答時間（平均） 20.8s

タイムアウト件数上位モデル

タイムアウト件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル