| #276#276 |
Mercury 2.5high
|
6.5… |
Inception |
$0.044
…
|
7.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 回答なし: 1
応答時間(平均)7.62s
応答時間(最大)80.30s
応答時間(合計)175.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 358,562
- 出力トークン
- 4,266
- 推論トークン
- 189,410
- 応答時間(平均)
- 7.62s
- 応答時間(合計)
- 175.36s
- 応答時間(最大)
- 80.30s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)80.30s
応答時間(最大)80.30s
応答時間(合計)80.30s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.33s
応答時間(最大)2.12s
応答時間(合計)5.33s
-
コーディング
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.58s
応答時間(最大)8.12s
応答時間(合計)19.74s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)16.00s
応答時間(最大)23.63s
応答時間(合計)32.00s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.08s
応答時間(最大)4.24s
応答時間(合計)6.16s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.86s
応答時間(最大)7.32s
応答時間(合計)14.58s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.69s
応答時間(最大)2.69s
応答時間(合計)2.69s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)934ms
応答時間(最大)1.13s
応答時間(合計)1.87s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.39s
応答時間(最大)1.86s
応答時間(合計)4.17s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.06s
応答時間(最大)3.06s
応答時間(合計)3.06s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.48s
応答時間(最大)5.48s
応答時間(合計)5.48s
|
| #277#277 |
Beam 1.0 501B A23Bxhigh
|
6.5… |
Reflection |
$0.688
…
|
9.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 3
応答時間(平均)9.18s
応答時間(最大)44.64s
応答時間(合計)211.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 212,065
- 出力トークン
- 4,428
- 推論トークン
- 154,069
- 応答時間(平均)
- 9.18s
- 応答時間(合計)
- 211.12s
- 応答時間(最大)
- 44.64s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.64s
応答時間(最大)44.64s
応答時間(合計)44.64s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.52s
応答時間(最大)2.98s
応答時間(合計)6.08s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.68s
応答時間(最大)33.46s
応答時間(合計)62.05s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)2.68s
応答時間(最大)3.43s
応答時間(合計)5.37s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.60s
応答時間(最大)1.93s
応答時間(合計)3.20s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)20.22s
応答時間(最大)24.34s
応答時間(合計)60.66s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.15s
応答時間(最大)1.41s
応答時間(合計)2.30s
-
パズル解決
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.46s
応答時間(最大)7.42s
応答時間(合計)13.38s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.84s
応答時間(最大)1.84s
応答時間(合計)1.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.10s
応答時間(最大)9.10s
応答時間(合計)9.10s
|
| #278#278 |
GLM 5.3low
|
6.5… |
Z.ai |
$0.215
↓
…
|
15.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)15.18s
応答時間(最大)83.60s
応答時間(合計)349.06s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 247,871
- 出力トークン
- 10,791
- 推論トークン
- 17,315
- 応答時間(平均)
- 15.18s
- 応答時間(合計)
- 349.06s
- 応答時間(最大)
- 83.60s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)48.84s
応答時間(最大)48.84s
応答時間(合計)48.84s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.16s
応答時間(最大)6.41s
応答時間(合計)16.65s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.02s
応答時間(最大)44.29s
応答時間(合計)63.06s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)53.02s
応答時間(最大)83.60s
応答時間(合計)106.04s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.42s
応答時間(最大)4.01s
応答時間(合計)6.84s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)19.23s
応答時間(最大)30.42s
応答時間(合計)57.69s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.70s
応答時間(最大)4.70s
応答時間(合計)4.70s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.40s
応答時間(最大)3.57s
応答時間(合計)6.79s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.20s
応答時間(最大)4.53s
応答時間(合計)12.59s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.45s
応答時間(最大)18.45s
応答時間(合計)18.45s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.42s
応答時間(最大)7.42s
応答時間(合計)7.42s
|
| #279#279 |
GLM 5.1none
|
6.5… |
Z.ai |
$0.451
↑
…
|
11.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)11.10s
応答時間(最大)107.19s
応答時間(合計)255.39s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 258,956
- 出力トークン
- 20,076
- 推論トークン
- 0
- 応答時間(平均)
- 11.10s
- 応答時間(合計)
- 255.39s
- 応答時間(最大)
- 107.19s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)107.19s
応答時間(最大)107.19s
応答時間(合計)107.19s
-
反AIトリック
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.11s
応答時間(最大)3.94s
応答時間(合計)8.46s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.96s
応答時間(最大)9.79s
応答時間(合計)14.89s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)46.88s
応答時間(最大)61.20s
応答時間(合計)93.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.08s
応答時間(最大)1.62s
応答時間(合計)2.15s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.27s
応答時間(最大)3.99s
応答時間(合計)6.80s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)790ms
応答時間(最大)790ms
応答時間(合計)790ms
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.98s
応答時間(最大)2.28s
応答時間(合計)3.97s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.45s
応答時間(最大)2.09s
応答時間(合計)4.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.68s
応答時間(最大)10.68s
応答時間(合計)10.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.34s
応答時間(最大)2.34s
応答時間(合計)2.34s
|
| #280#280 |
KAT-Coder-Pro V2.5high
|
6.5… |
Kwaipilot |
$0.506
…
|
21.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)21.21s
応答時間(最大)199.97s
応答時間(合計)487.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 106,085
- 出力トークン
- 9,071
- 推論トークン
- 135,288
- 応答時間(平均)
- 21.21s
- 応答時間(合計)
- 487.83s
- 応答時間(最大)
- 199.97s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.52s
応答時間(最大)1.52s
応答時間(合計)1.52s
-
反AIトリック
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.17s
応答時間(最大)4.99s
応答時間(合計)12.67s
-
コーディング
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.00s
応答時間(最大)35.74s
応答時間(合計)65.99s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)106.70s
応答時間(最大)199.97s
応答時間(合計)213.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.13s
応答時間(最大)4.56s
応答時間(合計)8.26s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)44.66s
応答時間(最大)95.65s
応答時間(合計)133.99s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.27s
応答時間(最大)3.27s
応答時間(合計)3.27s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.67s
応答時間(最大)2.87s
応答時間(合計)5.33s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.38s
応答時間(最大)4.30s
応答時間(合計)10.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.04s
応答時間(最大)28.04s
応答時間(合計)28.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.22s
応答時間(最大)5.22s
応答時間(合計)5.22s
|
| #281#281 |
Grok 4.3medium
|
6.5… |
X AI |
$0.989
…
|
44.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)44.53s
応答時間(最大)216.69s
応答時間(合計)1024.25s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 325,471
- 出力トークン
- 14,867
- 推論トークン
- 217,675
- 応答時間(平均)
- 44.53s
- 応答時間(合計)
- 1024.25s
- 応答時間(最大)
- 216.69s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)51.61s
応答時間(最大)51.61s
応答時間(合計)51.61s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)11.20s
応答時間(合計)35.31s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)41.23s
応答時間(最大)64.81s
応答時間(合計)123.69s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)55.07s
応答時間(最大)63.99s
応答時間(合計)110.13s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.97s
応答時間(最大)26.99s
応答時間(合計)37.93s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)158.01s
応答時間(最大)216.69s
応答時間(合計)474.02s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)24.70s
応答時間(最大)24.70s
応答時間(合計)24.70s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.58s
応答時間(最大)31.48s
応答時間(合計)37.15s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)22.52s
応答時間(最大)51.75s
応答時間(合計)67.57s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.66s
応答時間(最大)17.66s
応答時間(合計)17.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.47s
応答時間(最大)44.47s
応答時間(合計)44.47s
|
| #282#282 |
Laguna XS 2.1medium
|
6.4… |
Poolside |
$0.083
…
|
48.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 2 回答なし: 2
応答時間(平均)48.97s
応答時間(最大)422.72s
応答時間(合計)1126.35s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 46.4%
- 入力トークン
- 352,516
- 出力トークン
- 33,786
- 推論トークン
- 504,506
- 応答時間(平均)
- 48.97s
- 応答時間(合計)
- 1126.35s
- 応答時間(最大)
- 422.72s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)66.42s
応答時間(最大)66.42s
応答時間(合計)66.42s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)41.96s
応答時間(最大)155.23s
応答時間(合計)167.84s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)70.35s
応答時間(最大)105.98s
応答時間(合計)211.04s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)218.07s
応答時間(最大)422.72s
応答時間(合計)436.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.50s
応答時間(最大)5.55s
応答時間(合計)9.00s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)67.48s
応答時間(最大)121.62s
応答時間(合計)202.43s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.15s
応答時間(最大)4.15s
応答時間(合計)4.15s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.57s
応答時間(最大)2.61s
応答時間(合計)5.15s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.43s
応答時間(最大)4.37s
応答時間(合計)10.29s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.01s
応答時間(合計)3.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.88s
応答時間(最大)10.88s
応答時間(合計)10.88s
|
| #283#283 |
Qwen3.5-122B-A10Bnone
|
6.4… |
Qwen |
$0.308
↓
…
|
14.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)14.79s
応答時間(最大)212.63s
応答時間(合計)340.25s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.2%
- 入力トークン
- 405,921
- 出力トークン
- 97,112
- 推論トークン
- 0
- 応答時間(平均)
- 14.79s
- 応答時間(合計)
- 340.25s
- 応答時間(最大)
- 212.63s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.86s
応答時間(最大)55.86s
応答時間(合計)55.86s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.59s
応答時間(最大)3.60s
応答時間(合計)6.38s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.77s
応答時間(最大)4.03s
応答時間(合計)8.32s
-
複合
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)129.31s
応答時間(最大)212.63s
応答時間(合計)258.63s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.01s
応答時間(最大)1.06s
応答時間(合計)2.02s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)523ms
応答時間(最大)609ms
応答時間(合計)1.57s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.12s
応答時間(最大)1.12s
応答時間(合計)1.12s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)513ms
応答時間(最大)570ms
応答時間(合計)1.03s
-
パズル解決
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.00s
応答時間(最大)1.41s
応答時間(合計)3.00s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.04s
応答時間(最大)2.04s
応答時間(合計)2.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)295ms
応答時間(最大)295ms
応答時間(合計)295ms
|
| #284#284 |
Gemini 3 Flash Previewnone
|
6.4… |
Google |
$0.155
…
|
6.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 回答なし: 1
応答時間(平均)6.05s
応答時間(最大)57.84s
応答時間(合計)102.89s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 233,893
- 出力トークン
- 12,432
- 推論トークン
- 0
- 応答時間(平均)
- 6.05s
- 応答時間(合計)
- 102.89s
- 応答時間(最大)
- 57.84s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)57.84s
応答時間(最大)57.84s
応答時間(合計)57.84s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.59s
応答時間(合計)2.49s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.80s
応答時間(最大)2.79s
応答時間(合計)5.40s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)12.38s
応答時間(最大)21.19s
応答時間(合計)24.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)879ms
応答時間(最大)963ms
応答時間(合計)1.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.13s
応答時間(合計)1.13s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.58s
応答時間(最大)1.58s
応答時間(合計)1.58s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.06s
応答時間(合計)2.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
|
| #285#285 |
Beam 1.0 501B A23Bmax
|
6.4… |
Reflection |
$0.799
…
|
11.10s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 3 指示に従っていない: 2
応答時間(平均)11.10s
応答時間(最大)54.48s
応答時間(合計)255.26s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 56.5%
- 入力トークン
- 199,105
- 出力トークン
- 4,274
- 推論トークン
- 195,495
- 応答時間(平均)
- 11.10s
- 応答時間(合計)
- 255.26s
- 応答時間(最大)
- 54.48s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)50.05s
応答時間(最大)50.05s
応答時間(合計)50.05s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.42s
応答時間(最大)2.72s
応答時間(合計)5.66s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.15s
応答時間(最大)24.93s
応答時間(合計)51.46s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)3.04s
応答時間(最大)4.53s
応答時間(合計)6.08s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.23s
応答時間(最大)1.43s
応答時間(合計)2.46s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)31.89s
応答時間(最大)54.48s
応答時間(合計)95.68s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.63s
応答時間(最大)3.63s
応答時間(合計)3.63s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)866ms
応答時間(最大)956ms
応答時間(合計)1.73s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.94s
応答時間(最大)5.76s
応答時間(合計)11.82s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.15s
応答時間(最大)2.15s
応答時間(合計)2.15s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.53s
応答時間(最大)24.53s
応答時間(合計)24.53s
|
| #286#286 |
Solar Pro 4medium
|
6.4… |
Upstage |
$0.098
↑
…
|
133.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)133.93s
応答時間(最大)519.91s
応答時間(合計)3080.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 299,558
- 出力トークン
- 33,248
- 推論トークン
- 374,819
- 応答時間(平均)
- 133.93s
- 応答時間(合計)
- 3080.36s
- 応答時間(最大)
- 519.91s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)272.28s
応答時間(最大)272.28s
応答時間(合計)272.28s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)53.37s
応答時間(最大)74.40s
応答時間(合計)213.47s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)310.39s
応答時間(最大)518.33s
応答時間(合計)931.17s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)294.82s
応答時間(最大)519.91s
応答時間(合計)589.65s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.08s
応答時間(最大)47.23s
応答時間(合計)86.16s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)201.85s
応答時間(最大)333.26s
応答時間(合計)605.54s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)48.00s
応答時間(最大)48.00s
応答時間(合計)48.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.08s
応答時間(最大)56.63s
応答時間(合計)80.15s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)45.83s
応答時間(最大)74.11s
応答時間(合計)137.48s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.86s
応答時間(最大)7.86s
応答時間(合計)7.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.62s
応答時間(最大)108.62s
応答時間(合計)108.62s
|
| #287#287 |
Claude Sonnet 4.6mediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.4… |
Anthropic |
$2.126
…
|
28.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 余分な書式: 3 タイムアウト: 1
応答時間(平均)28.08s
応答時間(最大)140.96s
応答時間(合計)421.15s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 8
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 106,316
- 出力トークン
- 79,338
- 推論トークン
- 41,089
- 応答時間(平均)
- 28.08s
- 応答時間(合計)
- 421.15s
- 応答時間(最大)
- 140.96s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)2.98s
応答時間(最大)4.95s
応答時間(合計)5.97s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)33.29s
応答時間(最大)35.76s
応答時間(合計)99.86s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)93.65s
応答時間(最大)140.96s
応答時間(合計)187.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.90s
応答時間(最大)13.90s
応答時間(合計)13.90s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)58.37s
応答時間(最大)58.37s
応答時間(合計)58.37s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.94s
応答時間(最大)4.94s
応答時間(合計)4.94s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.61s
応答時間(合計)2.61s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.31s
応答時間(最大)6.24s
応答時間(合計)10.62s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.48s
応答時間(最大)7.48s
応答時間(合計)7.48s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.09s
応答時間(最大)30.09s
応答時間(合計)30.09s
|
| #288#288 |
Minimax M3.1 Flashxhigh
|
6.4… |
Minimax |
$0.000
…
|
21.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)21.71s
応答時間(最大)87.61s
応答時間(合計)499.37s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 56.5%
- 入力トークン
- 318,768
- 出力トークン
- 9,865
- 推論トークン
- 155,441
- 応答時間(平均)
- 21.71s
- 応答時間(合計)
- 499.37s
- 応答時間(最大)
- 87.61s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)87.61s
応答時間(最大)87.61s
応答時間(合計)87.61s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.91s
応答時間(最大)7.21s
応答時間(合計)11.66s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)20.38s
応答時間(最大)31.14s
応答時間(合計)61.13s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)34.36s
応答時間(最大)61.86s
応答時間(合計)68.72s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)949ms
応答時間(最大)1.56s
応答時間(合計)1.90s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)50.99s
応答時間(最大)76.87s
応答時間(合計)152.96s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.26s
応答時間(最大)6.26s
応答時間(合計)6.26s
-
指示追従
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.72s
応答時間(最大)2.04s
応答時間(合計)3.44s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.22s
応答時間(最大)26.01s
応答時間(合計)30.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.78s
応答時間(最大)2.78s
応答時間(合計)2.78s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)72.27s
応答時間(最大)72.27s
応答時間(合計)72.27s
|
| #289#289 |
Kimi K2.5medium
|
6.4… |
Moonshot AI |
$0.841
↑
…
|
125.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 3 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)125.76s
応答時間(最大)566.79s
応答時間(合計)2137.84s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 292,271
- 出力トークン
- 55,025
- 推論トークン
- 186,071
- 応答時間(平均)
- 125.76s
- 応答時間(合計)
- 2137.84s
- 応答時間(最大)
- 566.79s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)566.79s
応答時間(最大)566.79s
応答時間(合計)566.79s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)51.38s
応答時間(最大)85.28s
応答時間(合計)102.75s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)217.49s
応答時間(最大)281.00s
応答時間(合計)652.48s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)89.19s
応答時間(最大)107.01s
応答時間(合計)178.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.78s
応答時間(最大)49.78s
応答時間(合計)49.78s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)111.65s
応答時間(最大)137.29s
応答時間(合計)223.30s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)69.73s
応答時間(最大)69.73s
応答時間(合計)69.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.47s
応答時間(最大)92.47s
応答時間(合計)92.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)43.23s
応答時間(最大)82.75s
応答時間(合計)86.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.74s
応答時間(最大)31.74s
応答時間(合計)31.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.95s
応答時間(最大)83.95s
応答時間(合計)83.95s
|
| #290#290 |
Beam 1.0 501B A23Blow
|
6.4… |
Reflection |
$0.432
…
|
4.89s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)4.89s
応答時間(最大)29.49s
応答時間(合計)112.55s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 218,076
- 出力トークン
- 4,863
- 推論トークン
- 66,387
- 応答時間(平均)
- 4.89s
- 応答時間(合計)
- 112.55s
- 応答時間(最大)
- 29.49s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)29.49s
応答時間(最大)29.49s
応答時間(合計)29.49s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.61s
応答時間(最大)3.91s
応答時間(合計)6.43s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.29s
応答時間(最大)8.86s
応答時間(合計)21.87s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)2.22s
応答時間(最大)2.78s
応答時間(合計)4.44s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.19s
応答時間(最大)1.31s
応答時間(合計)2.38s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)8.45s
応答時間(最大)11.63s
応答時間(合計)25.36s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.30s
応答時間(最大)2.30s
応答時間(合計)2.30s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.14s
応答時間(最大)1.22s
応答時間(合計)2.28s
-
パズル解決
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.42s
応答時間(最大)4.30s
応答時間(合計)10.26s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.83s
応答時間(最大)1.83s
応答時間(合計)1.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
|
| #291#291 |
Mercury 2.5medium
|
6.4… |
Inception |
$0.034
…
|
7.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 タイムアウト: 1
応答時間(平均)7.74s
応答時間(最大)107.89s
応答時間(合計)178.07s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 317,982
- 出力トークン
- 3,918
- 推論トークン
- 135,028
- 応答時間(平均)
- 7.74s
- 応答時間(合計)
- 178.07s
- 応答時間(最大)
- 107.89s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)107.89s
応答時間(最大)107.89s
応答時間(合計)107.89s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.28s
応答時間(最大)2.09s
応答時間(合計)5.12s
-
コーディング
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.70s
応答時間(最大)4.41s
応答時間(合計)11.11s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.23s
応答時間(最大)9.87s
応答時間(合計)18.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.57s
応答時間(最大)3.13s
応答時間(合計)5.14s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.39s
応答時間(最大)4.72s
応答時間(合計)13.17s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.60s
応答時間(最大)1.60s
応答時間(合計)1.60s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.07s
応答時間(最大)1.36s
応答時間(合計)2.13s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.93s
応答時間(最大)3.14s
応答時間(合計)5.79s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.30s
応答時間(最大)4.30s
応答時間(合計)4.30s
|
| #292#292 |
Gemini 3.5 Flashminimal
|
6.4… |
Google |
$0.508
…
|
4.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)4.67s
応答時間(最大)49.23s
応答時間(合計)107.45s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 58.0%
- 入力トークン
- 230,004
- 出力トークン
- 18,040
- 推論トークン
- 0
- 応答時間(平均)
- 4.67s
- 応答時間(合計)
- 107.45s
- 応答時間(最大)
- 49.23s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.23s
応答時間(最大)49.23s
応答時間(合計)49.23s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)892ms
応答時間(最大)1.38s
応答時間(合計)3.57s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.75s
応答時間(最大)5.51s
応答時間(合計)8.26s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)14.41s
応答時間(最大)25.26s
応答時間(合計)28.81s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.66s
応答時間(最大)2.11s
応答時間(合計)3.32s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)879ms
応答時間(最大)985ms
応答時間(合計)2.64s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)922ms
応答時間(最大)922ms
応答時間(合計)922ms
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)893ms
応答時間(最大)964ms
応答時間(合計)1.79s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.45s
応答時間(最大)2.30s
応答時間(合計)4.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.76s
応答時間(最大)1.76s
応答時間(合計)1.76s
|
| #293#293 |
ERNIE-Light-DT-1.0low
|
6.4… |
Baidu |
$0.489
…
|
8.91s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)8.91s
応答時間(最大)96.92s
応答時間(合計)204.98s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 279,234
- 出力トークン
- 13,328
- 推論トークン
- 30,567
- 応答時間(平均)
- 8.91s
- 応答時間(合計)
- 204.98s
- 応答時間(最大)
- 96.92s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)96.92s
応答時間(最大)96.92s
応答時間(合計)96.92s
-
反AIトリック
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.80s
応答時間(最大)2.78s
応答時間(合計)7.18s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)5.33s
応答時間(最大)7.23s
応答時間(合計)15.99s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)22.98s
応答時間(最大)41.13s
応答時間(合計)45.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.60s
応答時間(最大)1.69s
応答時間(合計)3.19s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.65s
応答時間(最大)13.72s
応答時間(合計)19.96s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.45s
応答時間(最大)1.45s
応答時間(合計)1.45s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.64s
応答時間(合計)2.86s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.77s
応答時間(最大)2.32s
応答時間(合計)5.32s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.27s
応答時間(最大)4.27s
応答時間(合計)4.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
|
| #294#294 |
MiMo-V2.5-Promedium
|
6.4… |
Xiaomi |
$0.332
↓
…
|
56.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 余分な書式: 3 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)56.72s
応答時間(最大)333.34s
応答時間(合計)1304.54s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 253,462
- 出力トークン
- 40,269
- 推論トークン
- 185,716
- 応答時間(平均)
- 56.72s
- 応答時間(合計)
- 1304.54s
- 応答時間(最大)
- 333.34s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)233.51s
応答時間(最大)233.51s
応答時間(合計)233.51s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)6.38s
応答時間(合計)13.06s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1
応答時間(平均)92.07s
応答時間(最大)130.77s
応答時間(合計)276.20s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)125.45s
応答時間(最大)197.54s
応答時間(合計)250.89s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.81s
応答時間(最大)20.29s
応答時間(合計)37.61s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 回答なし: 1
応答時間(平均)146.15s
応答時間(最大)333.34s
応答時間(合計)438.44s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)4.02s
応答時間(合計)4.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.77s
応答時間(最大)3.21s
応答時間(合計)5.54s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.31s
応答時間(最大)9.12s
応答時間(合計)15.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.87s
応答時間(最大)16.87s
応答時間(合計)16.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.46s
応答時間(最大)12.46s
応答時間(合計)12.46s
|
| #295#295 |
Dots 3 Note Previewhigh
|
6.4… |
Dots Studio |
$0.000
…
|
70.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 回答なし: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)70.48s
応答時間(最大)480.52s
応答時間(合計)1620.93s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 255,887
- 出力トークン
- 154,879
- 推論トークン
- 603,518
- 応答時間(平均)
- 70.48s
- 応答時間(合計)
- 1620.93s
- 応答時間(最大)
- 480.52s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)129.13s
応答時間(最大)129.13s
応答時間(合計)129.13s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.97s
応答時間(最大)13.43s
応答時間(合計)27.87s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)306.23s
応答時間(最大)480.52s
応答時間(合計)918.70s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)107.07s
応答時間(最大)130.01s
応答時間(合計)214.14s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.67s
応答時間(最大)16.38s
応答時間(合計)25.35s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)69.36s
応答時間(最大)127.05s
応答時間(合計)208.09s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.56s
応答時間(最大)19.56s
応答時間(合計)19.56s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.80s
応答時間(最大)13.08s
応答時間(合計)15.61s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.75s
応答時間(最大)17.95s
応答時間(合計)38.24s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.96s
応答時間(最大)6.96s
応答時間(合計)6.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.29s
応答時間(最大)17.29s
応答時間(合計)17.29s
|
| #296#296 |
Dots 3 Note Previewlow
|
6.4… |
Dots Studio |
$0.000
…
|
66.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)66.13s
応答時間(最大)417.36s
応答時間(合計)1520.96s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 58.0%
- 入力トークン
- 260,850
- 出力トークン
- 125,908
- 推論トークン
- 516,424
- 応答時間(平均)
- 66.13s
- 応答時間(合計)
- 1520.96s
- 応答時間(最大)
- 417.36s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)161.24s
応答時間(最大)161.24s
応答時間(合計)161.24s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.51s
応答時間(最大)50.06s
応答時間(合計)70.05s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)287.61s
応答時間(最大)417.36s
応答時間(合計)862.83s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)85.20s
応答時間(最大)131.55s
応答時間(合計)170.40s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.49s
応答時間(最大)12.88s
応答時間(合計)22.98s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)49.50s
応答時間(最大)79.61s
応答時間(合計)148.51s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)27.55s
応答時間(最大)27.55s
応答時間(合計)27.55s
-
指示追従
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.83s
応答時間(最大)13.14s
応答時間(合計)15.66s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.52s
応答時間(最大)12.63s
応答時間(合計)25.57s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.36s
応答時間(最大)7.36s
応答時間(合計)7.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.80s
応答時間(最大)8.80s
応答時間(合計)8.80s
|
| #297#297 |
LongCat 2.0none
|
6.4… |
Meituan |
$0.104
…
|
8.50s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)8.50s
応答時間(最大)81.77s
応答時間(合計)195.60s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 276,199
- 出力トークン
- 17,473
- 推論トークン
- 0
- 応答時間(平均)
- 8.50s
- 応答時間(合計)
- 195.60s
- 応答時間(最大)
- 81.77s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)81.77s
応答時間(最大)81.77s
応答時間(合計)81.77s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.87s
応答時間(最大)5.35s
応答時間(合計)11.47s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.85s
応答時間(最大)4.99s
応答時間(合計)8.54s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.45s
応答時間(最大)48.38s
応答時間(合計)56.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.36s
応答時間(最大)2.56s
応答時間(合計)4.72s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.68s
応答時間(最大)1.79s
応答時間(合計)5.04s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.76s
応答時間(最大)2.76s
応答時間(合計)2.76s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)3.85s
応答時間(合計)5.64s
-
パズル解決
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.74s
応答時間(最大)2.89s
応答時間(合計)8.21s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.64s
応答時間(最大)6.64s
応答時間(合計)6.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.92s
応答時間(最大)3.92s
応答時間(合計)3.92s
|
| #298#298 |
Qwen3.5-35B-A3Bmedium
|
6.3… |
Qwen |
$0.716
↓
…
|
111.54s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3 タイムアウト: 3 不正解: 3 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)111.54s
応答時間(最大)950.25s
応答時間(合計)2565.38s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 378,048
- 出力トークン
- 56,477
- 推論トークン
- 865,151
- 応答時間(平均)
- 111.54s
- 応答時間(合計)
- 2565.38s
- 応答時間(最大)
- 950.25s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)126.80s
応答時間(最大)126.80s
応答時間(合計)126.80s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.13s
応答時間(最大)34.96s
応答時間(合計)84.53s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)206.65s
応答時間(最大)409.98s
応答時間(合計)619.94s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)512.79s
応答時間(最大)950.25s
応答時間(合計)1025.59s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)59.33s
応答時間(最大)97.12s
応答時間(合計)118.65s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)76.44s
応答時間(最大)88.98s
応答時間(合計)229.31s
-
汎用知能
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)30.30s
応答時間(最大)30.30s
応答時間(合計)30.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.45s
応答時間(最大)43.36s
応答時間(合計)48.89s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)33.13s
応答時間(最大)64.81s
応答時間(合計)99.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)177.35s
応答時間(最大)177.35s
応答時間(合計)177.35s
|
| #299#299 |
Qwen3.6 27Bnone
|
6.3… |
Qwen |
$0.148
↓
…
|
12.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)12.71s
応答時間(最大)156.31s
応答時間(合計)292.29s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 250,919
- 出力トークン
- 20,816
- 推論トークン
- 0
- 応答時間(平均)
- 12.71s
- 応答時間(合計)
- 292.29s
- 応答時間(最大)
- 156.31s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)58.61s
応答時間(最大)58.61s
応答時間(合計)58.61s
-
反AIトリック
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.83s
応答時間(最大)7.62s
応答時間(合計)11.33s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.16s
応答時間(最大)10.18s
応答時間(合計)12.49s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)83.13s
応答時間(最大)156.31s
応答時間(合計)166.26s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.06s
応答時間(最大)2.39s
応答時間(合計)4.11s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.79s
応答時間(最大)4.83s
応答時間(合計)8.37s
-
汎用知能
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.92s
応答時間(最大)1.94s
応答時間(合計)3.83s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.15s
応答時間(最大)11.82s
応答時間(合計)15.45s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.74s
応答時間(最大)6.74s
応答時間(合計)6.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.03s
応答時間(最大)4.03s
応答時間(合計)4.03s
|
| #300#300 |
Gemini 3.5 Flash Litelow
|
6.3… |
Google |
$0.183
…
|
4.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1 回答なし: 1
応答時間(平均)4.79s
応答時間(最大)53.91s
応答時間(合計)110.24s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 275,779
- 出力トークン
- 14,401
- 推論トークン
- 25,511
- 応答時間(平均)
- 4.79s
- 応答時間(合計)
- 110.24s
- 応答時間(最大)
- 53.91s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)53.91s
応答時間(最大)53.91s
応答時間(合計)53.91s
-
反AIトリック
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.69s
応答時間(最大)2.03s
応答時間(合計)6.75s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)917ms
応答時間(最大)1.11s
応答時間(合計)2.75s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)11.00s
応答時間(最大)15.14s
応答時間(合計)22.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)859ms
応答時間(最大)1.22s
応答時間(合計)1.72s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.55s
応答時間(最大)5.12s
応答時間(合計)10.66s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.34s
応答時間(最大)2.34s
応答時間(合計)2.34s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)1.77s
応答時間(合計)3.50s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.19s
応答時間(最大)2.07s
応答時間(合計)3.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.39s
応答時間(最大)1.39s
応答時間(合計)1.39s
-
雑学
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.65s
応答時間(最大)1.65s
応答時間(合計)1.65s
|