| #164#164 |
MiMo-V2.6-Flashmedium
|
7.9… |
Xiaomi |
$0.218
…
|
61.90s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 回答なし: 2 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)61.90s
応答時間(最大)357.28s
応答時間(合計)1423.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 291,988
- 出力トークン
- 8,848
- 推論トークン
- 622,995
- 応答時間(平均)
- 61.90s
- 応答時間(合計)
- 1423.67s
- 応答時間(最大)
- 357.28s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.14s
応答時間(最大)90.14s
応答時間(合計)90.14s
-
反AIトリック
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.42s
応答時間(最大)1.95s
応答時間(合計)5.69s
-
コーディング
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)18.23s
応答時間(最大)35.23s
応答時間(合計)54.68s
-
複合
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)20.70s
応答時間(最大)33.19s
応答時間(合計)41.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)2.25s
応答時間(合計)3.51s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)235.06s
応答時間(最大)316.42s
応答時間(合計)705.19s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.34s
応答時間(最大)2.34s
応答時間(合計)2.34s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.15s
応答時間(合計)2.25s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.85s
応答時間(最大)155.38s
応答時間(合計)158.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.63s
応答時間(最大)2.63s
応答時間(合計)2.63s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)357.28s
応答時間(最大)357.28s
応答時間(合計)357.28s
|
| #163#163 |
Qwen3.8 2.4T A95Bhigh
|
7.9… |
Qwen |
$2.949
↑
…
|
120.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)120.88s
応答時間(最大)532.28s
応答時間(合計)2780.16s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 295,642
- 出力トークン
- 115,041
- 推論トークン
- 353,398
- 応答時間(平均)
- 120.88s
- 応答時間(合計)
- 2780.16s
- 応答時間(最大)
- 532.28s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)127.11s
応答時間(最大)127.11s
応答時間(合計)127.11s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.22s
応答時間(最大)63.59s
応答時間(合計)96.87s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1
応答時間(平均)160.52s
応答時間(最大)311.89s
応答時間(合計)481.57s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)266.12s
応答時間(最大)328.22s
応答時間(合計)532.25s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.67s
応答時間(最大)19.13s
応答時間(合計)27.34s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)301.08s
応答時間(最大)532.28s
応答時間(合計)903.25s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.38s
応答時間(最大)11.38s
応答時間(合計)11.38s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.45s
応答時間(最大)15.77s
応答時間(合計)22.90s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)65.54s
応答時間(最大)156.63s
応答時間(合計)196.61s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.93s
応答時間(最大)32.93s
応答時間(合計)32.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)347.95s
応答時間(最大)347.95s
応答時間(合計)347.95s
|
| #162#162 |
Gemini 3.5 Flashmedium
|
7.9… |
Google |
$1.316
…
|
11.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)11.78s
応答時間(最大)84.47s
応答時間(合計)271.03s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 296,760
- 出力トークン
- 4,371
- 推論トークン
- 92,284
- 応答時間(平均)
- 11.78s
- 応答時間(合計)
- 271.03s
- 応答時間(最大)
- 84.47s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)84.47s
応答時間(最大)84.47s
応答時間(合計)84.47s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.09s
応答時間(最大)2.56s
応答時間(合計)8.35s
-
コーディング
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.63s
応答時間(最大)18.07s
応答時間(合計)37.89s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.36s
応答時間(最大)76.68s
応答時間(合計)88.72s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.07s
応答時間(最大)5.60s
応答時間(合計)8.14s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.28s
応答時間(最大)10.39s
応答時間(合計)21.83s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.52s
応答時間(最大)2.52s
応答時間(合計)2.52s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.70s
応答時間(最大)3.07s
応答時間(合計)5.40s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.38s
応答時間(最大)2.55s
応答時間(合計)7.15s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.81s
応答時間(最大)3.81s
応答時間(合計)3.81s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)2.75s
応答時間(合計)2.75s
|
| #161#161 |
GLM 5.3 FlashX Legalmax
|
7.9… |
Z.ai |
$0.819
…
|
65.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2
応答時間(平均)65.28s
応答時間(最大)516.19s
応答時間(合計)1501.49s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 282,144
- 出力トークン
- 6,078
- 推論トークン
- 565,133
- 応答時間(平均)
- 65.28s
- 応答時間(合計)
- 1501.49s
- 応答時間(最大)
- 516.19s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)93.32s
応答時間(最大)93.32s
応答時間(合計)93.32s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.62s
応答時間(最大)1.89s
応答時間(合計)6.47s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)47.87s
応答時間(最大)96.61s
応答時間(合計)143.61s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)55.52s
応答時間(最大)93.55s
応答時間(合計)111.04s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.09s
応答時間(最大)4.19s
応答時間(合計)8.17s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)350.03s
応答時間(最大)516.19s
応答時間(合計)1050.08s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.28s
応答時間(最大)3.28s
応答時間(合計)3.28s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.94s
応答時間(最大)4.14s
応答時間(合計)5.87s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.83s
応答時間(最大)8.55s
応答時間(合計)14.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.17s
応答時間(最大)6.17s
応答時間(合計)6.17s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)59.00s
応答時間(最大)59.00s
応答時間(合計)59.00s
|
| #160#160 |
Particle-1max
|
7.9… |
Particle AI |
$0.361
…
|
46.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 無効なツール呼び出し: 1
応答時間(平均)46.27s
応答時間(最大)271.00s
応答時間(合計)1064.17s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 371,281
- 出力トークン
- 9,043
- 推論トークン
- 674,430
- 応答時間(平均)
- 46.27s
- 応答時間(合計)
- 1064.17s
- 応答時間(最大)
- 271.00s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)48.22s
応答時間(最大)48.22s
応答時間(合計)48.22s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)3.34s
応答時間(合計)8.20s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1
応答時間(平均)79.29s
応答時間(最大)107.10s
応答時間(合計)237.87s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)90.30s
応答時間(最大)175.03s
応答時間(合計)180.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.83s
応答時間(最大)2.43s
応答時間(合計)3.65s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)174.85s
応答時間(最大)271.00s
応答時間(合計)524.54s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.63s
応答時間(最大)4.63s
応答時間(合計)4.63s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.31s
応答時間(合計)4.59s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)4.45s
応答時間(最大)7.26s
応答時間(合計)13.35s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.70s
応答時間(最大)3.70s
応答時間(合計)3.70s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.82s
応答時間(最大)34.82s
応答時間(合計)34.82s
|
| #159#159 |
Qwen3.7 Maxnone
|
7.9… |
Qwen |
$0.451
↓
…
|
7.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7
応答時間(平均)7.85s
応答時間(最大)80.34s
応答時間(合計)180.65s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 243,553
- 出力トークン
- 20,670
- 推論トークン
- 0
- 応答時間(平均)
- 7.85s
- 応答時間(合計)
- 180.65s
- 応答時間(最大)
- 80.34s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)80.34s
応答時間(最大)80.34s
応答時間(合計)80.34s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.08s
応答時間(最大)1.39s
応答時間(合計)4.30s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.35s
応答時間(最大)1.63s
応答時間(合計)4.04s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.23s
応答時間(最大)72.30s
応答時間(合計)74.47s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.35s
応答時間(最大)1.43s
応答時間(合計)2.69s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.24s
応答時間(最大)1.87s
応答時間(合計)3.71s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.04s
応答時間(最大)1.04s
応答時間(合計)1.04s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)943ms
応答時間(最大)974ms
応答時間(合計)1.89s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.29s
応答時間(合計)3.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.92s
応答時間(最大)3.92s
応答時間(合計)3.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)856ms
応答時間(最大)856ms
応答時間(合計)856ms
|
| #158#158 |
GPT-5.4 Minimedium
|
7.9… |
OpenAI |
$1.102
↑
…
|
29.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)29.94s
応答時間(最大)138.75s
応答時間(合計)688.57s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 238,925
- 出力トークン
- 7,109
- 推論トークン
- 177,063
- 応答時間(平均)
- 29.94s
- 応答時間(合計)
- 688.57s
- 応答時間(最大)
- 138.75s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)100.66s
応答時間(最大)100.66s
応答時間(合計)100.66s
-
反AIトリック
: 8.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.05s
応答時間(最大)6.69s
応答時間(合計)16.20s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)57.87s
応答時間(最大)138.75s
応答時間(合計)173.61s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)59.64s
応答時間(最大)101.47s
応答時間(合計)119.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)3.39s
応答時間(合計)4.87s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)71.05s
応答時間(最大)102.91s
応答時間(合計)213.16s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.72s
応答時間(最大)3.72s
応答時間(合計)3.72s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.13s
応答時間(最大)2.45s
応答時間(合計)4.25s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.37s
応答時間(最大)7.27s
応答時間(合計)13.11s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.62s
応答時間(最大)9.62s
応答時間(合計)9.62s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.10s
応答時間(最大)30.10s
応答時間(合計)30.10s
|
| #157#157 |
Claude Fable 5.1high
|
7.9… |
Anthropic |
$3.471
…
|
13.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1
応答時間(平均)13.30s
応答時間(最大)40.17s
応答時間(合計)305.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 144,676
- 出力トークン
- 8,184
- 推論トークン
- 32,282
- 応答時間(平均)
- 13.30s
- 応答時間(合計)
- 305.83s
- 応答時間(最大)
- 40.17s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.93s
応答時間(最大)6.93s
応答時間(合計)6.93s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.90s
応答時間(最大)6.70s
応答時間(合計)23.59s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.91s
応答時間(最大)19.46s
応答時間(合計)41.74s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.59s
応答時間(最大)40.17s
応答時間(合計)69.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.30s
応答時間(最大)7.96s
応答時間(合計)12.59s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.34s
応答時間(最大)29.92s
応答時間(合計)73.01s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.40s
応答時間(最大)5.40s
応答時間(合計)5.40s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.60s
応答時間(最大)5.76s
応答時間(合計)11.20s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.11s
応答時間(最大)6.93s
応答時間(合計)18.32s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.30s
応答時間(最大)13.30s
応答時間(合計)13.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.58s
応答時間(最大)30.58s
応答時間(合計)30.58s
|
| #156#156 |
GLM 5.3 FlashXmax
|
7.9… |
Z.ai |
$0.623
…
|
43.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2 回答なし: 2 不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)43.97s
応答時間(最大)390.70s
応答時間(合計)1011.29s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 322,894
- 出力トークン
- 8,010
- 推論トークン
- 394,755
- 応答時間(平均)
- 43.97s
- 応答時間(合計)
- 1011.29s
- 応答時間(最大)
- 390.70s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)104.77s
応答時間(最大)104.77s
応答時間(合計)104.77s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.65s
応答時間(最大)4.90s
応答時間(合計)10.60s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.61s
応答時間(最大)30.05s
応答時間(合計)73.83s
-
複合
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)45.23s
応答時間(最大)71.40s
応答時間(合計)90.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.38s
応答時間(最大)3.44s
応答時間(合計)6.75s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)224.00s
応答時間(最大)390.70s
応答時間(合計)672.00s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.01s
応答時間(最大)5.01s
応答時間(合計)5.01s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.23s
応答時間(最大)2.24s
応答時間(合計)4.45s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.88s
応答時間(最大)6.30s
応答時間(合計)11.63s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.39s
応答時間(最大)9.39s
応答時間(合計)9.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)22.41s
応答時間(最大)22.41s
応答時間(合計)22.41s
|
| #155#155 |
Qwen3.5-27Bmedium
|
7.9… |
Qwen |
$1.135
…
|
114.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)114.73s
応答時間(最大)1026.43s
応答時間(合計)2638.74s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 288,919
- 出力トークン
- 17,484
- 推論トークン
- 617,804
- 応答時間(平均)
- 114.73s
- 応答時間(合計)
- 2638.74s
- 応答時間(最大)
- 1026.43s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)146.48s
応答時間(最大)146.48s
応答時間(合計)146.48s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)19.75s
応答時間(最大)49.95s
応答時間(合計)79.01s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)160.69s
応答時間(最大)234.36s
応答時間(合計)482.07s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)595.19s
応答時間(最大)1026.43s
応答時間(合計)1190.39s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)30.26s
応答時間(最大)32.03s
応答時間(合計)60.52s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)89.39s
応答時間(最大)95.52s
応答時間(合計)268.18s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)101.41s
応答時間(最大)101.41s
応答時間(合計)101.41s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.66s
応答時間(最大)32.25s
応答時間(合計)39.32s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)59.60s
応答時間(最大)123.57s
応答時間(合計)178.80s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.45s
応答時間(最大)7.45s
応答時間(合計)7.45s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.11s
応答時間(最大)85.11s
応答時間(合計)85.11s
|
| #154#154 |
GPT-5.6 Terralow
|
7.9… |
OpenAI |
$0.435
↓
…
|
7.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 1
応答時間(平均)7.58s
応答時間(最大)54.57s
応答時間(合計)174.39s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 176,890
- 出力トークン
- 5,688
- 推論トークン
- 18,525
- 応答時間(平均)
- 7.58s
- 応答時間(合計)
- 174.39s
- 応答時間(最大)
- 54.57s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)54.57s
応答時間(最大)54.57s
応答時間(合計)54.57s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.09s
応答時間(合計)9.46s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)9.56s
応答時間(最大)19.85s
応答時間(合計)28.67s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)9.68s
応答時間(最大)14.29s
応答時間(合計)19.36s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)919ms
応答時間(最大)931ms
応答時間(合計)1.84s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)9.34s
応答時間(最大)11.03s
応答時間(合計)28.02s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.52s
応答時間(最大)3.52s
応答時間(合計)3.52s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.48s
応答時間(最大)1.80s
応答時間(合計)2.96s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.46s
応答時間(最大)8.85s
応答時間(合計)13.37s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.69s
応答時間(最大)6.69s
応答時間(合計)6.69s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.95s
応答時間(最大)5.95s
応答時間(合計)5.95s
|
| #153#153 |
Qwen3.8 Flash Nextlow候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8-flash-next-iq3_s · IQ3_S · Strata 0.1.39 · NVIDIA GeForce RTX 3090.
|
8.0… |
Qwen |
~$0.045
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.4535 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.044834.
|
23.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)23.66s
応答時間(最大)166.72s
応答時間(合計)544.16s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 342,163
- 出力トークン
- 1,518
- 推論トークン
- 133,777
- 応答時間(平均)
- 23.66s
- 応答時間(合計)
- 544.16s
- 応答時間(最大)
- 166.72s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)137.50s
応答時間(最大)137.50s
応答時間(合計)137.50s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.03s
応答時間(最大)2.72s
応答時間(合計)8.13s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.46s
応答時間(最大)49.90s
応答時間(合計)88.39s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)98.91s
応答時間(最大)166.72s
応答時間(合計)197.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)6.23s
応答時間(合計)12.40s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)23.34s
応答時間(最大)42.75s
応答時間(合計)70.03s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.00s
応答時間(最大)5.00s
応答時間(合計)5.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.32s
応答時間(最大)3.23s
応答時間(合計)4.64s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.72s
応答時間(最大)2.26s
応答時間(合計)5.15s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.85s
応答時間(最大)5.85s
応答時間(合計)5.85s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.26s
応答時間(最大)9.26s
応答時間(合計)9.26s
|
| #152#152 |
Gemini 3.8 Flashmedium
|
8.0… |
Google |
$0.769
…
|
16.64s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)16.64s
応答時間(最大)108.60s
応答時間(合計)382.64s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 89.9%
- 入力トークン
- 187,331
- 出力トークン
- 7,555
- 推論トークン
- 159,931
- 応答時間(平均)
- 16.64s
- 応答時間(合計)
- 382.64s
- 応答時間(最大)
- 108.60s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)63.72s
応答時間(最大)63.72s
応答時間(合計)63.72s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.66s
応答時間(最大)3.54s
応答時間(合計)10.63s
-
コーディング
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.69s
応答時間(最大)17.73s
応答時間(合計)35.06s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)60.28s
応答時間(最大)108.60s
応答時間(合計)120.55s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.74s
応答時間(最大)6.78s
応答時間(合計)11.49s
-
ドメイン特化
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.77s
応答時間(最大)47.10s
応答時間(合計)95.31s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.65s
応答時間(最大)3.65s
応答時間(合計)3.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.81s
応答時間(最大)5.24s
応答時間(合計)9.62s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.73s
応答時間(最大)3.39s
応答時間(合計)8.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.47s
応答時間(最大)18.47s
応答時間(合計)18.47s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.94s
応答時間(最大)5.94s
応答時間(合計)5.94s
|
| #151#151 |
GPT-5.4 Nanomedium
|
8.0… |
OpenAI |
$0.235
↑
…
|
15.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2
応答時間(平均)15.95s
応答時間(最大)94.06s
応答時間(合計)366.93s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 237,088
- 出力トークン
- 8,235
- 推論トークン
- 102,675
- 応答時間(平均)
- 15.95s
- 応答時間(合計)
- 366.93s
- 応答時間(最大)
- 94.06s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.96s
応答時間(最大)73.96s
応答時間(合計)73.96s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.52s
応答時間(最大)7.74s
応答時間(合計)18.10s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)19.12s
応答時間(最大)28.80s
応答時間(合計)57.37s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.24s
応答時間(最大)40.36s
応答時間(合計)64.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.54s
応答時間(最大)3.33s
応答時間(合計)5.08s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.72s
応答時間(最大)94.06s
応答時間(合計)116.16s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.15s
応答時間(最大)4.15s
応答時間(合計)4.15s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.88s
応答時間(最大)2.61s
応答時間(合計)3.75s
-
パズル解決
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)3.79s
応答時間(最大)4.02s
応答時間(合計)11.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.71s
応答時間(最大)7.71s
応答時間(合計)7.71s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.81s
応答時間(最大)4.81s
応答時間(合計)4.81s
|
| #150#150 |
Nemotron 3 Ultramedium
|
8.0… |
NVIDIA |
$0.674
↕
…
|
40.33s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)40.33s
応答時間(最大)392.56s
応答時間(合計)927.65s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 482,754
- 出力トークン
- 62,455
- 推論トークン
- 141,067
- 応答時間(平均)
- 40.33s
- 応答時間(合計)
- 927.65s
- 応答時間(最大)
- 392.56s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)188.06s
応答時間(最大)188.06s
応答時間(合計)188.06s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.62s
応答時間(最大)16.86s
応答時間(合計)34.49s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.53s
応答時間(最大)31.91s
応答時間(合計)79.58s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)218.25s
応答時間(最大)392.56s
応答時間(合計)436.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.68s
応答時間(最大)7.94s
応答時間(合計)11.36s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.22s
応答時間(最大)49.56s
応答時間(合計)105.65s
-
汎用知能
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.52s
応答時間(最大)2.52s
応答時間(合計)2.52s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.35s
応答時間(最大)9.38s
応答時間(合計)12.69s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.54s
応答時間(最大)6.03s
応答時間(合計)10.62s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.72s
応答時間(最大)7.72s
応答時間(合計)7.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)38.47s
応答時間(最大)38.47s
応答時間(合計)38.47s
|
| #149#149 |
GPT-5.6 Lunahigh
|
8.0… |
OpenAI |
$0.118
↓
…
|
18.39s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8
応答時間(平均)18.39s
応答時間(最大)111.09s
応答時間(合計)422.93s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 197,896
- 出力トークン
- 6,211
- 推論トークン
- 133,184
- 応答時間(平均)
- 18.39s
- 応答時間(合計)
- 422.93s
- 応答時間(最大)
- 111.09s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)60.15s
応答時間(最大)60.15s
応答時間(合計)60.15s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.99s
応答時間(最大)4.94s
応答時間(合計)11.95s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)15.63s
応答時間(最大)32.41s
応答時間(合計)46.88s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.05s
応答時間(最大)24.81s
応答時間(合計)38.10s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.18s
応答時間(最大)2.64s
応答時間(合計)4.36s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)62.87s
応答時間(最大)111.09s
応答時間(合計)188.61s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.65s
応答時間(最大)3.65s
応答時間(合計)3.65s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.79s
応答時間(最大)1.96s
応答時間(合計)3.58s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.55s
応答時間(最大)38.14s
応答時間(合計)43.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.98s
応答時間(最大)4.98s
応答時間(合計)4.98s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.00s
応答時間(最大)17.00s
応答時間(合計)17.00s
|
| #148#148 |
DeepSeek V4.1 Flashlow
|
8.0… |
DeepSeek |
$0.494
↑
…
|
28.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1
応答時間(平均)28.04s
応答時間(最大)149.84s
応答時間(合計)645.03s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 266,849
- 出力トークン
- 8,284
- 推論トークン
- 363,263
- 応答時間(平均)
- 28.04s
- 応答時間(合計)
- 645.03s
- 応答時間(最大)
- 149.84s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.02s
応答時間(最大)56.02s
応答時間(合計)56.02s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.32s
応答時間(最大)5.98s
応答時間(合計)13.28s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.66s
応答時間(最大)56.87s
応答時間(合計)121.97s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.73s
応答時間(最大)34.30s
応答時間(合計)49.47s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)3.80s
応答時間(最大)7.39s
応答時間(合計)7.61s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)95.58s
応答時間(最大)149.84s
応答時間(合計)286.75s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.34s
応答時間(最大)4.34s
応答時間(合計)4.34s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.38s
応答時間(最大)14.30s
応答時間(合計)16.75s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.39s
応答時間(最大)20.40s
応答時間(合計)28.16s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.83s
応答時間(最大)13.83s
応答時間(合計)13.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)46.86s
応答時間(最大)46.86s
応答時間(合計)46.86s
|
| #147#147 |
DeepSeek V4 Flash 0423high
|
8.1… |
DeepSeek |
$0.261
↑
…
|
55.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)55.99s
応答時間(最大)218.13s
応答時間(合計)1287.87s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 298,794
- 出力トークン
- 45,873
- 推論トークン
- 188,721
- 応答時間(平均)
- 55.99s
- 応答時間(合計)
- 1287.87s
- 応答時間(最大)
- 218.13s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)148.13s
応答時間(最大)148.13s
応答時間(合計)148.13s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.51s
応答時間(最大)39.73s
応答時間(合計)114.05s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)50.60s
応答時間(最大)62.48s
応答時間(合計)151.79s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)104.10s
応答時間(最大)131.63s
応答時間(合計)208.20s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.03s
応答時間(最大)30.49s
応答時間(合計)56.07s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)115.42s
応答時間(最大)218.13s
応答時間(合計)346.26s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)25.15s
応答時間(最大)25.15s
応答時間(合計)25.15s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.36s
応答時間(最大)19.53s
応答時間(合計)30.73s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)26.11s
応答時間(最大)32.37s
応答時間(合計)78.32s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.73s
応答時間(最大)74.73s
応答時間(合計)74.73s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)54.46s
応答時間(最大)54.46s
応答時間(合計)54.46s
|
| #146#146 |
Claude Opus 4.7medium
|
8.1… |
Anthropic |
$3.636
…
|
14.12s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)14.12s
応答時間(最大)150.60s
応答時間(合計)310.55s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 437,293
- 出力トークン
- 29,102
- 推論トークン
- 28,876
- 応答時間(平均)
- 14.12s
- 応答時間(合計)
- 310.55s
- 応答時間(最大)
- 150.60s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)150.60s
応答時間(最大)150.60s
応答時間(合計)150.60s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.85s
応答時間(最大)2.71s
応答時間(合計)7.38s
-
コーディング
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.96s
応答時間(最大)23.18s
応答時間(合計)38.89s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.42s
応答時間(最大)65.40s
応答時間(合計)86.85s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.37s
応答時間(最大)3.30s
応答時間(合計)4.74s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)1.19s
応答時間(最大)1.43s
応答時間(合計)2.38s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.87s
応答時間(最大)2.87s
応答時間(合計)2.87s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.57s
応答時間(最大)1.66s
応答時間(合計)3.14s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.89s
応答時間(合計)7.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)4.17s
応答時間(合計)4.17s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.25s
応答時間(最大)2.25s
応答時間(合計)2.25s
|
| #145#145 |
DeepSeek V4 Pro 0423high
|
8.1… |
DeepSeek |
$0.149
↓
…
|
91.29s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 回答なし: 1
応答時間(平均)91.29s
応答時間(最大)416.76s
応答時間(合計)2099.56s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 287,061
- 出力トークン
- 32,056
- 推論トークン
- 196,607
- 応答時間(平均)
- 91.29s
- 応答時間(合計)
- 2099.56s
- 応答時間(最大)
- 416.76s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)64.54s
応答時間(最大)64.54s
応答時間(合計)64.54s
-
反AIトリック
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)25.70s
応答時間(最大)48.19s
応答時間(合計)102.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)243.00s
応答時間(最大)416.76s
応答時間(合計)729.00s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.99s
応答時間(最大)119.80s
応答時間(合計)157.97s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.03s
応答時間(最大)27.49s
応答時間(合計)50.06s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)249.47s
応答時間(最大)387.23s
応答時間(合計)748.42s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)8.83s
応答時間(合計)8.83s
-
指示追従
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.73s
応答時間(最大)9.53s
応答時間(合計)17.45s
-
パズル解決
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)56.85s
応答時間(最大)146.68s
応答時間(合計)170.55s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.92s
応答時間(最大)15.92s
応答時間(合計)15.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.01s
応答時間(最大)34.01s
応答時間(合計)34.01s
|
| #144#144 |
Seed-2.0-Codelow
|
8.1… |
Bytedance Seed |
$0.881
…
|
73.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 1 指示に従っていない: 1
応答時間(平均)73.02s
応答時間(最大)485.92s
応答時間(合計)1679.49s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 237,604
- 出力トークン
- 9,617
- 推論トークン
- 244,190
- 応答時間(平均)
- 73.02s
- 応答時間(合計)
- 1679.49s
- 応答時間(最大)
- 485.92s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.18s
応答時間(最大)90.18s
応答時間(合計)90.18s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)39.56s
応答時間(最大)120.09s
応答時間(合計)158.26s
-
コーディング
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)109.70s
応答時間(最大)141.71s
応答時間(合計)329.11s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)99.12s
応答時間(最大)173.03s
応答時間(合計)198.23s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.88s
応答時間(最大)30.28s
応答時間(合計)49.75s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)238.45s
応答時間(最大)485.92s
応答時間(合計)715.34s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.14s
応答時間(最大)11.14s
応答時間(合計)11.14s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.20s
応答時間(最大)21.22s
応答時間(合計)24.41s
-
パズル解決
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.50s
応答時間(最大)20.68s
応答時間(合計)37.50s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.56s
応答時間(最大)55.56s
応答時間(合計)55.56s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.02s
応答時間(最大)10.02s
応答時間(合計)10.02s
|
| #143#143 |
Kimi K3.1 Prohigh
|
8.2… |
Moonshot AI |
$1.646
…
|
54.31s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 2
応答時間(平均)54.31s
応答時間(最大)601.80s
応答時間(合計)1249.02s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 249,927
- 出力トークン
- 10,175
- 推論トークン
- 104,437
- 応答時間(平均)
- 54.31s
- 応答時間(合計)
- 1249.02s
- 応答時間(最大)
- 601.80s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)93.37s
応答時間(最大)93.37s
応答時間(合計)93.37s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.91s
応答時間(最大)11.38s
応答時間(合計)27.65s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.94s
応答時間(最大)38.41s
応答時間(合計)74.83s
-
複合
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)36.74s
応答時間(最大)54.74s
応答時間(合計)73.47s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.83s
応答時間(最大)5.38s
応答時間(合計)9.65s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)274.56s
応答時間(最大)601.80s
応答時間(合計)823.68s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.92s
応答時間(最大)8.92s
応答時間(合計)8.92s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.71s
応答時間(最大)6.71s
応答時間(合計)11.41s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.23s
応答時間(最大)9.84s
応答時間(合計)24.70s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.68s
応答時間(最大)11.68s
応答時間(合計)11.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)89.65s
応答時間(最大)89.65s
応答時間(合計)89.65s
|
| #142#142 |
Seed-2.0-Litemedium
|
8.2… |
Bytedance Seed |
$0.271
…
|
48.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 回答なし: 1
応答時間(平均)48.87s
応答時間(最大)254.92s
応答時間(合計)1123.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 229,530
- 出力トークン
- 13,757
- 推論トークン
- 92,662
- 応答時間(平均)
- 48.87s
- 応答時間(合計)
- 1123.91s
- 応答時間(最大)
- 254.92s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)69.33s
応答時間(最大)69.33s
応答時間(合計)69.33s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.99s
応答時間(最大)48.33s
応答時間(合計)71.98s
-
コーディング
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)156.74s
応答時間(最大)254.92s
応答時間(合計)470.22s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)58.52s
応答時間(最大)79.36s
応答時間(合計)117.04s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.07s
応答時間(最大)12.19s
応答時間(合計)18.14s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)84.35s
応答時間(最大)168.71s
応答時間(合計)253.05s
-
汎用知能
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)18.25s
応答時間(最大)18.25s
応答時間(合計)18.25s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.26s
応答時間(最大)9.02s
応答時間(合計)14.52s
-
パズル解決
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.23s
応答時間(最大)11.54s
応答時間(合計)30.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.38s
応答時間(最大)12.38s
応答時間(合計)12.38s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)48.32s
応答時間(最大)48.32s
応答時間(合計)48.32s
|
| #141#141 |
Qwen4 Maxxhigh
|
8.2… |
Qwen |
$1.830
…
|
106.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)106.83s
応答時間(最大)595.00s
応答時間(合計)2457.00s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 82.6%
- 入力トークン
- 345,694
- 出力トークン
- 8,170
- 推論トークン
- 283,059
- 応答時間(平均)
- 106.83s
- 応答時間(合計)
- 2457.00s
- 応答時間(最大)
- 595.00s
-
エージェントタスク
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)322.05s
応答時間(最大)322.05s
応答時間(合計)322.05s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.45s
応答時間(最大)7.26s
応答時間(合計)17.79s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.72s
応答時間(最大)32.64s
応答時間(合計)86.17s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)122.59s
応答時間(最大)217.92s
応答時間(合計)245.19s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.24s
応答時間(最大)8.09s
応答時間(合計)14.49s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)507.30s
応答時間(最大)595.00s
応答時間(合計)1521.91s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.40s
応答時間(最大)4.40s
応答時間(合計)4.40s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.74s
応答時間(最大)3.97s
応答時間(合計)7.48s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.33s
応答時間(最大)7.11s
応答時間(合計)15.99s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.37s
応答時間(最大)9.37s
応答時間(合計)9.37s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)212.18s
応答時間(最大)212.18s
応答時間(合計)212.18s
|
| #140#140 |
Gemini 4 Argonlow
|
8.2… |
Google |
$0.438
…
|
5.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)5.72s
応答時間(最大)60.87s
応答時間(合計)131.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 188,162
- 出力トークン
- 6,097
- 推論トークン
- 0
- 応答時間(平均)
- 5.72s
- 応答時間(合計)
- 131.67s
- 応答時間(最大)
- 60.87s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)60.87s
応答時間(最大)60.87s
応答時間(合計)60.87s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.92s
応答時間(最大)2.74s
応答時間(合計)7.66s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.25s
応答時間(最大)2.79s
応答時間(合計)6.76s
-
複合
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)11.93s
応答時間(最大)15.38s
応答時間(合計)23.85s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.36s
応答時間(最大)2.47s
応答時間(合計)4.72s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.94s
応答時間(最大)2.22s
応答時間(合計)5.81s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.11s
応答時間(最大)2.11s
応答時間(合計)2.11s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.40s
応答時間(最大)3.17s
応答時間(合計)4.80s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.18s
応答時間(最大)2.42s
応答時間(合計)6.55s
-
ツール呼び出し
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)6.57s
応答時間(最大)6.57s
応答時間(合計)6.57s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
|