指示追従 x API エラーランキング | AI BENCHY

指示追従で API エラーが起きやすいAIモデルを確認し、弱点を早く見つけられます。

表示モデル数

6

総失敗数

25

最も影響を受けたモデル

失敗理由

不正解117 指示に従っていない77 API エラー25 余分な書式8 タイムアウト5 回答なし2

カテゴリ

コーディング65 複合62 反AIトリック44 ドメイン特化40 ツール呼び出し39 データ解析と抽出37 エージェントタスク36 パズル解決35 指示追従25 雑学19

21/21

順位	モデル	企業	API エラー件数	カテゴリスコア	合計コスト	正解テスト	応答時間（平均）
#246	Mercury 2.5 medium	Inception	1	0.6	$0.034	1/2	1.07s
合計テスト数 2 誤答テスト数 1 合計コスト $0.034 応答時間（平均） 1.07s
#329	Ember-1 none	Fireworks	1	0.6	$0.786	1/2	31.0s
合計テスト数 2 誤答テスト数 1 合計コスト $0.786 応答時間（平均） 31.0s
#345	Mercury 2.5 low	Inception	1	0.3	$0.020	0/2	972ms
合計テスト数 2 誤答テスト数 2 合計コスト $0.020 応答時間（平均） 972ms
#398	Qwen3.6 Plus Preview medium	Qwen	1	0.7	$0.000	1/2	3.40s
合計テスト数 2 誤答テスト数 1 合計コスト $0.000 応答時間（平均） 3.40s
#407	Xing4.0 29b A4b medium	Xingchen AGI	1	0.4	$0.000	0/2	25.4s
合計テスト数 2 誤答テスト数 2 合計コスト $0.000 応答時間（平均） 25.4s
#421	Xing4.0 29b A4b none	Xingchen AGI	1	0.4	$0.000	0/2	11.7s
合計テスト数 2 誤答テスト数 2 合計コスト $0.000 応答時間（平均） 11.7s

API エラー件数上位モデル

API エラー件数対スコア

応答時間（平均）上位モデル

推定無駄コスト上位モデル