| #239#239 |
Gemini 3.1 Flash Litemedium
|
6.9… |
Google |
$0.153
…
|
6.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)6.27s
応答時間(最大)47.78s
応答時間(合計)144.10s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 228,023
- 出力トークン
- 10,779
- 推論トークン
- 53,188
- 応答時間(平均)
- 6.27s
- 応答時間(合計)
- 144.10s
- 応答時間(最大)
- 47.78s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)47.78s
応答時間(最大)47.78s
応答時間(合計)47.78s
-
反AIトリック
: 9.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.39s
応答時間(最大)3.58s
応答時間(合計)9.57s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.81s
応答時間(最大)4.25s
応答時間(合計)11.44s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)18.55s
応答時間(最大)26.22s
応答時間(合計)37.09s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.60s
応答時間(最大)2.69s
応答時間(合計)5.19s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.93s
応答時間(最大)4.71s
応答時間(合計)11.79s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.60s
応答時間(最大)2.60s
応答時間(合計)2.60s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.59s
応答時間(最大)3.04s
応答時間(合計)5.17s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.95s
応答時間(最大)2.48s
応答時間(合計)5.84s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.55s
応答時間(最大)4.55s
応答時間(合計)4.55s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.08s
応答時間(最大)3.08s
応答時間(合計)3.08s
|
| #238#238 |
Minimax M3.1 Flashmax
|
6.9… |
Minimax |
$0.000
…
|
40.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 2 API エラー: 1 指示に従っていない: 1
応答時間(平均)40.94s
応答時間(最大)256.57s
応答時間(合計)941.68s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 398,523
- 出力トークン
- 7,992
- 推論トークン
- 303,691
- 応答時間(平均)
- 40.94s
- 応答時間(合計)
- 941.68s
- 応答時間(最大)
- 256.57s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)123.99s
応答時間(最大)123.99s
応答時間(合計)123.99s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.98s
応答時間(最大)5.77s
応答時間(合計)11.92s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.67s
応答時間(最大)48.61s
応答時間(合計)77.02s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)39.89s
応答時間(最大)67.16s
応答時間(合計)79.78s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)909ms
応答時間(最大)1.49s
応答時間(合計)1.82s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)186.27s
応答時間(最大)256.57s
応答時間(合計)558.80s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.30s
応答時間(最大)5.30s
応答時間(合計)5.30s
-
指示追従
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.73s
応答時間(最大)2.00s
応答時間(合計)3.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.34s
応答時間(最大)4.10s
応答時間(合計)10.01s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.78s
応答時間(最大)2.78s
応答時間(合計)2.78s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)66.79s
応答時間(最大)66.79s
応答時間(合計)66.79s
|
| #237#237 |
Muse Glimmer 30Blow
|
6.9… |
Meta |
$0.219
↓
…
|
22.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)22.40s
応答時間(最大)234.92s
応答時間(合計)515.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 307,228
- 出力トークン
- 36,044
- 推論トークン
- 71,621
- 応答時間(平均)
- 22.40s
- 応答時間(合計)
- 515.14s
- 応答時間(最大)
- 234.92s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)104.96s
応答時間(最大)104.96s
応答時間(合計)104.96s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.57s
応答時間(最大)5.96s
応答時間(合計)14.27s
-
コーディング
: 8.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.52s
応答時間(最大)21.60s
応答時間(合計)49.55s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)131.97s
応答時間(最大)234.92s
応答時間(合計)263.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)4.56s
応答時間(合計)8.34s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)11.48s
応答時間(最大)22.96s
応答時間(合計)34.44s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.60s
応答時間(最大)3.76s
応答時間(合計)7.20s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.06s
応答時間(最大)7.57s
応答時間(合計)15.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.04s
応答時間(合計)5.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.71s
応答時間(最大)9.71s
応答時間(合計)9.71s
|
| #236#236 |
Gemini 3 Flash Previewlow
|
6.9… |
Google |
$0.254
…
|
8.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7
応答時間(平均)8.51s
応答時間(最大)52.64s
応答時間(合計)195.76s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 251,677
- 出力トークン
- 11,196
- 推論トークン
- 31,204
- 応答時間(平均)
- 8.51s
- 応答時間(合計)
- 195.76s
- 応答時間(最大)
- 52.64s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.64s
応答時間(最大)52.64s
応答時間(合計)52.64s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.48s
応答時間(最大)4.31s
応答時間(合計)13.94s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.00s
応答時間(最大)6.94s
応答時間(合計)18.00s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.20s
応答時間(最大)17.13s
応答時間(合計)20.39s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.40s
応答時間(最大)14.72s
応答時間(合計)18.80s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)9.74s
応答時間(最大)14.40s
応答時間(合計)29.22s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.68s
応答時間(最大)3.68s
応答時間(合計)3.68s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.02s
応答時間(最大)7.35s
応答時間(合計)14.03s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.77s
応答時間(最大)10.27s
応答時間(合計)17.32s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.99s
応答時間(最大)4.99s
応答時間(合計)4.99s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)2.75s
応答時間(合計)2.75s
|
| #235#235 |
Grok 4.6low
|
6.9… |
X AI |
$0.781
…
|
16.44s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8
応答時間(平均)16.44s
応答時間(最大)57.97s
応答時間(合計)378.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 263,427
- 出力トークン
- 6,006
- 推論トークン
- 36,309
- 応答時間(平均)
- 16.44s
- 応答時間(合計)
- 378.14s
- 応答時間(最大)
- 57.97s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)57.97s
応答時間(最大)57.97s
応答時間(合計)57.97s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.00s
応答時間(最大)10.98s
応答時間(合計)36.02s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.69s
応答時間(最大)26.46s
応答時間(合計)65.08s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.33s
応答時間(最大)25.51s
応答時間(合計)46.67s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.63s
応答時間(最大)13.54s
応答時間(合計)23.25s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)18.19s
応答時間(最大)23.65s
応答時間(合計)54.57s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.29s
応答時間(最大)16.29s
応答時間(合計)16.29s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.64s
応答時間(最大)8.11s
応答時間(合計)13.28s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.16s
応答時間(最大)10.89s
応答時間(合計)24.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.42s
応答時間(最大)14.42s
応答時間(合計)14.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.11s
応答時間(最大)26.11s
応答時間(合計)26.11s
|
| #234#234 |
Qwen3.5-122B-A10Bmedium
|
7.0… |
Qwen |
$1.152
↓
…
|
66.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 2 タイムアウト: 2
応答時間(平均)66.96s
応答時間(最大)519.30s
応答時間(合計)1539.99s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 251,695
- 出力トークン
- 49,415
- 推論トークン
- 472,775
- 応答時間(平均)
- 66.96s
- 応答時間(合計)
- 1539.99s
- 応答時間(最大)
- 519.30s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)95.31s
応答時間(最大)95.31s
応答時間(合計)95.31s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.75s
応答時間(最大)18.03s
応答時間(合計)39.01s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)114.48s
応答時間(最大)168.16s
応答時間(合計)343.44s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)313.55s
応答時間(最大)519.30s
応答時間(合計)627.09s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.41s
応答時間(最大)29.79s
応答時間(合計)46.83s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)74.43s
応答時間(最大)119.29s
応答時間(合計)223.29s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)34.11s
応答時間(最大)34.11s
応答時間(合計)34.11s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.88s
応答時間(最大)15.44s
応答時間(合計)19.76s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.89s
応答時間(最大)31.99s
応答時間(合計)53.68s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.60s
応答時間(最大)4.60s
応答時間(合計)4.60s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)52.87s
応答時間(最大)52.87s
応答時間(合計)52.87s
|
| #233#233 |
Step 5 Previewhigh
|
7.0… |
Stepfun |
$4.513
…
|
154.41s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 7 不正解: 3 API エラー: 2 指示に従っていない: 1
応答時間(平均)154.41s
応答時間(最大)455.72s
応答時間(合計)3551.40s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 52.2%
- 入力トークン
- 243,381
- 出力トークン
- 1,581,325
- 推論トークン
- 0
- 応答時間(平均)
- 154.41s
- 応答時間(合計)
- 3551.40s
- 応答時間(最大)
- 455.72s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.73s
応答時間(最大)55.73s
応答時間(合計)55.73s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)14.70s
応答時間(最大)47.55s
応答時間(合計)58.79s
-
コーディング
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 指示に従っていない: 1
応答時間(平均)421.68s
応答時間(最大)455.72s
応答時間(合計)1265.05s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)115.30s
応答時間(最大)205.40s
応答時間(合計)230.60s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.55s
応答時間(最大)8.35s
応答時間(合計)13.11s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)333.41s
応答時間(最大)384.57s
応答時間(合計)1000.23s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)36.56s
応答時間(最大)36.56s
応答時間(合計)36.56s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)20.53s
応答時間(最大)33.28s
応答時間(合計)41.06s
-
パズル解決
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)143.16s
応答時間(最大)415.83s
応答時間(合計)429.48s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.34s
応答時間(最大)4.34s
応答時間(合計)4.34s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)416.44s
応答時間(最大)416.44s
応答時間(合計)416.44s
|
| #232#232 |
Ember-1low
|
7.0… |
Fireworks |
$1.488
…
|
34.90s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 3 無効なツール呼び出し: 1
応答時間(平均)34.90s
応答時間(最大)121.29s
応答時間(合計)802.79s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 211,908
- 出力トークン
- 14,158
- 推論トークン
- 42,608
- 応答時間(平均)
- 34.90s
- 応答時間(合計)
- 802.79s
- 応答時間(最大)
- 121.29s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)121.29s
応答時間(最大)121.29s
応答時間(合計)121.29s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)22.18s
応答時間(最大)60.05s
応答時間(合計)88.72s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.91s
応答時間(最大)60.34s
応答時間(合計)113.74s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)51.45s
応答時間(最大)93.10s
応答時間(合計)102.91s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)34.82s
応答時間(最大)62.94s
応答時間(合計)69.64s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)56.17s
応答時間(最大)77.05s
応答時間(合計)168.51s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.67s
応答時間(最大)5.67s
応答時間(合計)5.67s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)32.73s
応答時間(最大)60.73s
応答時間(合計)65.46s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.27s
応答時間(最大)4.30s
応答時間(合計)9.82s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)26.43s
応答時間(最大)26.43s
応答時間(合計)26.43s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.60s
応答時間(最大)30.60s
応答時間(合計)30.60s
|
| #231#231 |
Kimi K2.7 Codemedium
|
7.0… |
Moonshot AI |
$1.136
↑
…
|
81.18s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 タイムアウト: 2 API エラー: 1 指示に従っていない: 1
応答時間(平均)81.18s
応答時間(最大)365.80s
応答時間(合計)1785.87s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 245,179
- 出力トークン
- 62,697
- 推論トークン
- 196,621
- 応答時間(平均)
- 81.18s
- 応答時間(合計)
- 1785.87s
- 応答時間(最大)
- 365.80s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)104.02s
応答時間(最大)104.02s
応答時間(合計)104.02s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)11.56s
応答時間(最大)16.30s
応答時間(合計)46.24s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)146.73s
応答時間(最大)365.80s
応答時間(合計)440.18s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)66.03s
応答時間(最大)97.22s
応答時間(合計)132.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.27s
応答時間(最大)18.56s
応答時間(合計)24.54s
-
ドメイン特化
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)184.17s
応答時間(最大)331.73s
応答時間(合計)552.51s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.78s
応答時間(最大)10.78s
応答時間(合計)10.78s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.39s
応答時間(最大)6.01s
応答時間(合計)10.78s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)41.00s
応答時間(最大)113.78s
応答時間(合計)123.01s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)341.76s
応答時間(最大)341.76s
応答時間(合計)341.76s
|
| #230#230 |
Qwen4 Maxnone
|
7.0… |
Qwen |
$0.465
…
|
6.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 無効なツール呼び出し: 1
応答時間(平均)6.38s
応答時間(最大)67.27s
応答時間(合計)146.64s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 281,902
- 出力トークン
- 9,342
- 推論トークン
- 0
- 応答時間(平均)
- 6.38s
- 応答時間(合計)
- 146.64s
- 応答時間(最大)
- 67.27s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)67.27s
応答時間(最大)67.27s
応答時間(合計)67.27s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.69s
応答時間(最大)3.13s
応答時間(合計)6.77s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.97s
応答時間(最大)3.30s
応答時間(合計)5.92s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.58s
応答時間(最大)21.22s
応答時間(合計)27.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.06s
応答時間(最大)2.18s
応答時間(合計)4.12s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.81s
応答時間(最大)2.10s
応答時間(合計)5.43s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.42s
応答時間(最大)2.42s
応答時間(合計)2.42s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.12s
応答時間(最大)2.56s
応答時間(合計)4.23s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.09s
応答時間(最大)4.03s
応答時間(合計)9.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.06s
応答時間(最大)7.06s
応答時間(合計)7.06s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.98s
応答時間(最大)6.98s
応答時間(合計)6.98s
|
| #229#229 |
Ling 3.2 Flashhigh
|
7.0… |
Inclusionai |
$0.000
…
|
225.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 3 タイムアウト: 3 不正解: 2 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)225.47s
応答時間(最大)960.03s
応答時間(合計)5185.79s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 340,468
- 出力トークン
- 12,361
- 推論トークン
- 135,352
- 応答時間(平均)
- 225.47s
- 応答時間(合計)
- 5185.79s
- 応答時間(最大)
- 960.03s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)494.96s
応答時間(最大)494.96s
応答時間(合計)494.96s
-
反AIトリック
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)45.17s
応答時間(最大)91.16s
応答時間(合計)180.69s
-
コーディング
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 余分な書式: 1 指示に従っていない: 1
応答時間(平均)402.10s
応答時間(最大)436.38s
応答時間(合計)1206.30s
-
複合
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)292.94s
応答時間(最大)486.97s
応答時間(合計)585.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)30.62s
応答時間(最大)45.51s
応答時間(合計)61.23s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 API エラー: 1
応答時間(平均)734.33s
応答時間(最大)960.03s
応答時間(合計)2202.99s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.10s
応答時間(最大)31.10s
応答時間(合計)31.10s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.36s
応答時間(最大)32.66s
応答時間(合計)54.72s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)91.49s
応答時間(最大)242.83s
応答時間(合計)274.46s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)75.01s
応答時間(最大)75.01s
応答時間(合計)75.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)18.45s
応答時間(最大)18.45s
応答時間(合計)18.45s
|
| #228#228 |
Gemini 3.1 Flash Lite Previewmedium
|
7.0… |
Google |
$0.158
…
|
6.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)6.78s
応答時間(最大)54.91s
応答時間(合計)155.96s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 272,221
- 出力トークン
- 12,345
- 推論トークン
- 47,189
- 応答時間(平均)
- 6.78s
- 応答時間(合計)
- 155.96s
- 応答時間(最大)
- 54.91s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)54.91s
応答時間(最大)54.91s
応答時間(合計)54.91s
-
反AIトリック
: 9.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.33s
応答時間(最大)3.89s
応答時間(合計)9.30s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.09s
応答時間(最大)4.34s
応答時間(合計)12.27s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)16.63s
応答時間(最大)18.34s
応答時間(合計)33.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.31s
応答時間(合計)4.59s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.09s
応答時間(最大)5.86s
応答時間(合計)12.28s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.16s
応答時間(最大)3.16s
応答時間(合計)3.16s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.91s
応答時間(最大)1.93s
応答時間(合計)3.82s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.30s
応答時間(最大)9.55s
応答時間(合計)15.89s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.80s
応答時間(最大)3.80s
応答時間(合計)3.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.68s
応答時間(最大)2.68s
応答時間(合計)2.68s
|
| #227#227 |
Qwen3.6 Max Previewmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
7.0… |
Qwen |
$1.132
↓
…
|
66.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 タイムアウト: 1
応答時間(平均)66.52s
応答時間(最大)238.07s
応答時間(合計)1463.50s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 5
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 79,249
- 出力トークン
- 5,097
- 推論トークン
- 165,276
- 応答時間(平均)
- 66.52s
- 応答時間(合計)
- 1463.50s
- 応答時間(最大)
- 238.07s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.13s
応答時間(最大)28.70s
応答時間(合計)88.50s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)146.48s
応答時間(最大)238.07s
応答時間(合計)439.45s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)177.48s
応答時間(最大)233.47s
応答時間(合計)354.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)41.15s
応答時間(最大)48.02s
応答時間(合計)82.30s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)88.53s
応答時間(最大)186.74s
応答時間(合計)265.58s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)32.24s
応答時間(最大)32.24s
応答時間(合計)32.24s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.31s
応答時間(最大)27.94s
応答時間(合計)48.63s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.32s
応答時間(最大)37.68s
応答時間(合計)72.96s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.32s
応答時間(最大)18.32s
応答時間(合計)18.32s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)60.56s
応答時間(最大)60.56s
応答時間(合計)60.56s
|
| #226#226 |
GPT-5.2 Chatdefault
|
7.0… |
OpenAI |
$0.594
…
|
7.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 2 指示に従っていない: 1 回答なし: 1
応答時間(平均)7.43s
応答時間(最大)38.52s
応答時間(合計)163.35s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 101,104
- 出力トークン
- 10,414
- 推論トークン
- 19,328
- 応答時間(平均)
- 7.43s
- 応答時間(合計)
- 163.35s
- 応答時間(最大)
- 38.52s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)955ms
応答時間(最大)955ms
応答時間(合計)955ms
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.40s
応答時間(最大)4.78s
応答時間(合計)13.59s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.82s
応答時間(最大)13.35s
応答時間(合計)29.45s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)13.91s
応答時間(最大)18.70s
応答時間(合計)27.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.05s
応答時間(最大)3.33s
応答時間(合計)6.10s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)23.67s
応答時間(最大)38.52s
応答時間(合計)47.34s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.20s
応答時間(最大)3.20s
応答時間(合計)3.20s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.51s
応答時間(最大)6.55s
応答時間(合計)11.02s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.10s
応答時間(最大)5.04s
応答時間(合計)12.31s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.68s
応答時間(最大)4.68s
応答時間(合計)4.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.89s
応答時間(最大)6.89s
応答時間(合計)6.89s
|
| #225#225 |
MiMo-V2.5medium
|
7.1… |
Xiaomi |
$0.130
↓
…
|
49.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 2 回答なし: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)49.20s
応答時間(最大)316.27s
応答時間(合計)1131.69s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 259,664
- 出力トークン
- 8,414
- 推論トークン
- 333,097
- 応答時間(平均)
- 49.20s
- 応答時間(合計)
- 1131.69s
- 応答時間(最大)
- 316.27s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)113.57s
応答時間(最大)113.57s
応答時間(合計)113.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.14s
応答時間(最大)12.41s
応答時間(合計)16.57s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)97.14s
応答時間(最大)162.44s
応答時間(合計)291.41s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)77.97s
応答時間(最大)139.08s
応答時間(合計)155.93s
-
データ解析と抽出
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)6.33s
応答時間(最大)7.45s
応答時間(合計)12.67s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)137.75s
応答時間(最大)316.27s
応答時間(合計)413.25s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.80s
応答時間(最大)1.81s
応答時間(合計)3.60s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)20.25s
応答時間(最大)57.93s
応答時間(合計)60.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)51.29s
応答時間(最大)51.29s
応答時間(合計)51.29s
|
| #224#224 |
MiMo-V2.6-Flashlow
|
7.1… |
Xiaomi |
$0.200
…
|
54.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)54.57s
応答時間(最大)345.18s
応答時間(合計)1255.15s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 256,428
- 出力トークン
- 9,786
- 推論トークン
- 575,630
- 応答時間(平均)
- 54.57s
- 応答時間(合計)
- 1255.15s
- 応答時間(最大)
- 345.18s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)107.91s
応答時間(最大)107.91s
応答時間(合計)107.91s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.51s
応答時間(最大)3.18s
応答時間(合計)6.04s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.97s
応答時間(最大)12.52s
応答時間(合計)32.91s
-
複合
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)20.80s
応答時間(最大)31.28s
応答時間(合計)41.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.82s
応答時間(合計)3.02s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 余分な書式: 1
応答時間(平均)276.95s
応答時間(最大)345.18s
応答時間(合計)830.85s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.60s
応答時間(最大)1.60s
応答時間(合計)1.60s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)955ms
応答時間(最大)1.10s
応答時間(合計)1.91s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.19s
応答時間(最大)69.75s
応答時間(合計)72.58s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.29s
応答時間(合計)2.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)154.43s
応答時間(最大)154.43s
応答時間(合計)154.43s
|
| #223#223 |
Minimax M3.1 Flashlow
|
7.1… |
Minimax |
$0.000
…
|
14.84s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)14.84s
応答時間(最大)133.79s
応答時間(合計)341.25s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 285,795
- 出力トークン
- 10,087
- 推論トークン
- 86,695
- 応答時間(平均)
- 14.84s
- 応答時間(合計)
- 341.25s
- 応答時間(最大)
- 133.79s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.50s
応答時間(最大)51.50s
応答時間(合計)51.50s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.76s
応答時間(最大)2.95s
応答時間(合計)7.03s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.98s
応答時間(最大)17.97s
応答時間(合計)26.95s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)20.57s
応答時間(最大)35.10s
応答時間(合計)41.14s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)806ms
応答時間(最大)1.38s
応答時間(合計)1.61s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)53.28s
応答時間(最大)133.79s
応答時間(合計)159.85s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.19s
応答時間(最大)3.19s
応答時間(合計)3.19s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.60s
応答時間(最大)1.64s
応答時間(合計)3.20s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.40s
応答時間(合計)6.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.76s
応答時間(最大)2.76s
応答時間(合計)2.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.65s
応答時間(最大)37.65s
応答時間(合計)37.65s
|
| #222#222 |
GLM 5.3 FlashXmedium
|
7.1… |
Z.ai |
$0.114
…
|
7.37s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)7.37s
応答時間(最大)74.39s
応答時間(合計)169.54s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 205,100
- 出力トークン
- 8,639
- 推論トークン
- 21,409
- 応答時間(平均)
- 7.37s
- 応答時間(合計)
- 169.54s
- 応答時間(最大)
- 74.39s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.39s
応答時間(最大)74.39s
応答時間(合計)74.39s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.71s
応答時間(最大)2.32s
応答時間(合計)6.83s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.37s
応答時間(最大)10.11s
応答時間(合計)19.10s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)15.97s
応答時間(最大)22.89s
応答時間(合計)31.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.74s
応答時間(最大)1.87s
応答時間(合計)3.48s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.52s
応答時間(最大)5.14s
応答時間(合計)10.57s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.79s
応答時間(最大)1.79s
応答時間(合計)1.79s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.66s
応答時間(合計)3.03s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.84s
応答時間(最大)2.15s
応答時間(合計)5.53s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.30s
応答時間(最大)10.30s
応答時間(合計)10.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)2.60s
応答時間(最大)2.60s
応答時間(合計)2.60s
|
| #221#221 |
Qwen3.8 Flash Nextxhigh候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8-flash-next-iq3_s · IQ3_S · Strata 0.1.39 · NVIDIA GeForce RTX 3090.
|
7.1… |
Qwen |
~$0.195
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 1.9676 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.194534.
|
102.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)102.66s
応答時間(最大)674.08s
応答時間(合計)2361.10s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 301,749
- 出力トークン
- 1,033
- 推論トークン
- 620,023
- 応答時間(平均)
- 102.66s
- 応答時間(合計)
- 2361.10s
- 応答時間(最大)
- 674.08s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)173.66s
応答時間(最大)173.66s
応答時間(合計)173.66s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.73s
応答時間(最大)18.55s
応答時間(合計)26.91s
-
コーディング
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)192.20s
応答時間(最大)370.86s
応答時間(合計)576.59s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)92.24s
応答時間(最大)143.77s
応答時間(合計)184.49s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.24s
応答時間(最大)9.63s
応答時間(合計)18.48s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)326.96s
応答時間(最大)674.08s
応答時間(合計)980.89s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.95s
応答時間(最大)3.95s
応答時間(合計)3.95s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.72s
応答時間(最大)3.99s
応答時間(合計)7.44s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.51s
応答時間(最大)39.77s
応答時間(合計)58.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.11s
応答時間(最大)5.11s
応答時間(合計)5.11s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)325.04s
応答時間(最大)325.04s
応答時間(合計)325.04s
|
| #220#220 |
Claude Opus 5none
|
7.1… |
Anthropic |
$2.766
…
|
10.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 余分な書式: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)10.78s
応答時間(最大)79.61s
応答時間(合計)247.96s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 55.1%
- 入力トークン
- 396,120
- 出力トークン
- 31,386
- 推論トークン
- 0
- 応答時間(平均)
- 10.78s
- 応答時間(合計)
- 247.96s
- 応答時間(最大)
- 79.61s
-
エージェントタスク
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)79.61s
応答時間(最大)79.61s
応答時間(合計)79.61s
-
反AIトリック
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.33s
応答時間(最大)9.08s
応答時間(合計)17.30s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)5.54s
応答時間(最大)8.42s
応答時間(合計)16.63s
-
複合
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)30.54s
応答時間(最大)47.72s
応答時間(合計)61.09s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.88s
応答時間(最大)4.06s
応答時間(合計)7.75s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)11.10s
応答時間(最大)26.91s
応答時間(合計)33.31s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.70s
応答時間(最大)3.70s
応答時間(合計)3.70s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.81s
応答時間(最大)2.98s
応答時間(合計)5.62s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)3.66s
応答時間(最大)4.75s
応答時間(合計)10.98s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.89s
応答時間(最大)7.89s
応答時間(合計)7.89s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)4.08s
応答時間(最大)4.08s
応答時間(合計)4.08s
|
| #219#219 |
Qwen3.6 27Bmedium
|
7.2… |
Qwen |
$1.021
↑
…
|
107.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 3 無効なツール呼び出し: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)107.79s
応答時間(最大)1085.11s
応答時間(合計)2479.26s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 264,147
- 出力トークン
- 34,419
- 推論トークン
- 253,480
- 応答時間(平均)
- 107.79s
- 応答時間(合計)
- 2479.26s
- 応答時間(最大)
- 1085.11s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)145.90s
応答時間(最大)145.90s
応答時間(合計)145.90s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.62s
応答時間(最大)18.61s
応答時間(合計)50.50s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)142.99s
応答時間(最大)168.22s
応答時間(合計)428.96s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)584.09s
応答時間(最大)1085.11s
応答時間(合計)1168.18s
-
データ解析と抽出
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)37.30s
応答時間(最大)54.01s
応答時間(合計)74.60s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)71.47s
応答時間(最大)101.55s
応答時間(合計)214.40s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)39.53s
応答時間(最大)39.53s
応答時間(合計)39.53s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.96s
応答時間(最大)47.48s
応答時間(合計)75.92s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.14s
応答時間(最大)97.76s
応答時間(合計)183.42s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.88s
応答時間(最大)16.88s
応答時間(合計)16.88s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)80.99s
応答時間(最大)80.99s
応答時間(合計)80.99s
|
| #218#218 |
Step 3.7 Flashlow
|
7.2… |
Stepfun |
$0.449
…
|
20.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)20.72s
応答時間(最大)124.75s
応答時間(合計)476.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 292,685
- 出力トークン
- 339,108
- 推論トークン
- 0
- 応答時間(平均)
- 20.72s
- 応答時間(合計)
- 476.67s
- 応答時間(最大)
- 124.75s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)83.63s
応答時間(最大)83.63s
応答時間(合計)83.63s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.02s
応答時間(最大)12.52s
応答時間(合計)16.10s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.46s
応答時間(最大)12.69s
応答時間(合計)28.38s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)66.18s
応答時間(最大)124.39s
応答時間(合計)132.37s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.29s
応答時間(最大)3.15s
応答時間(合計)4.58s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)22.65s
応答時間(最大)45.52s
応答時間(合計)67.95s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.00s
応答時間(最大)7.00s
応答時間(合計)7.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.58s
応答時間(最大)1.80s
応答時間(合計)3.16s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.42s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.25s
応答時間(最大)3.25s
応答時間(合計)3.25s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)124.75s
応答時間(最大)124.75s
応答時間(合計)124.75s
|
| #217#217 |
GLM 5medium66/69 回 (目標: テストごとに 3 回)
|
7.2… |
Z.ai |
$0.479
↑
…
|
39.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)39.05s
応答時間(最大)110.70s
応答時間(合計)546.68s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 7
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 212,440
- 出力トークン
- 22,922
- 推論トークン
- 115,335
- 応答時間(平均)
- 39.05s
- 応答時間(合計)
- 546.68s
- 応答時間(最大)
- 110.70s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)110.70s
応答時間(最大)110.70s
応答時間(合計)110.70s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.66s
応答時間(最大)25.06s
応答時間(合計)47.32s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.30s
応答時間(最大)99.85s
応答時間(合計)222.91s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.96s
応答時間(最大)28.96s
応答時間(合計)28.96s
-
データ解析と抽出
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)8.90s
応答時間(最大)8.90s
応答時間(合計)8.90s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.69s
応答時間(最大)14.69s
応答時間(合計)14.69s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.25s
応答時間(最大)7.25s
応答時間(合計)7.25s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.33s
応答時間(最大)16.34s
応答時間(合計)22.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.93s
応答時間(最大)15.93s
応答時間(合計)15.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)67.37s
応答時間(最大)67.37s
応答時間(合計)67.37s
|
| #216#216 |
LongCat 2.0medium
|
7.2… |
Meituan |
$0.767
↑
…
|
144.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)144.88s
応答時間(最大)939.52s
応答時間(合計)3332.19s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 287,669
- 出力トークン
- 47,204
- 推論トークン
- 375,030
- 応答時間(平均)
- 144.88s
- 応答時間(合計)
- 3332.19s
- 応答時間(最大)
- 939.52s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)174.08s
応答時間(最大)174.08s
応答時間(合計)174.08s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.65s
応答時間(最大)13.92s
応答時間(合計)38.61s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)455.00s
応答時間(最大)493.86s
応答時間(合計)1364.99s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)151.04s
応答時間(最大)195.58s
応答時間(合計)302.08s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.63s
応答時間(最大)18.16s
応答時間(合計)21.27s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)390.56s
応答時間(最大)939.52s
応答時間(合計)1171.67s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.35s
応答時間(最大)16.35s
応答時間(合計)16.35s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.38s
応答時間(最大)8.27s
応答時間(合計)14.75s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.84s
応答時間(最大)14.18s
応答時間(合計)26.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.67s
応答時間(最大)10.67s
応答時間(合計)10.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)191.19s
応答時間(最大)191.19s
応答時間(合計)191.19s
|
| #215#215 |
Qwen3.7 Flashhigh
|
7.2… |
Qwen |
$0.063
…
|
45.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)45.48s
応答時間(最大)431.47s
応答時間(合計)1045.97s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 293,775
- 出力トークン
- 13,527
- 推論トークン
- 396,291
- 応答時間(平均)
- 45.48s
- 応答時間(合計)
- 1045.97s
- 応答時間(最大)
- 431.47s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)135.86s
応答時間(最大)135.86s
応答時間(合計)135.86s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.21s
応答時間(最大)15.82s
応答時間(合計)40.82s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)58.84s
応答時間(最大)69.05s
応答時間(合計)176.53s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)231.97s
応答時間(最大)431.47s
応答時間(合計)463.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.10s
応答時間(最大)26.73s
応答時間(合計)40.19s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)34.43s
応答時間(最大)56.51s
応答時間(合計)103.29s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.73s
応答時間(最大)10.73s
応答時間(合計)10.73s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.41s
応答時間(最大)10.36s
応答時間(合計)18.82s
-
パズル解決
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.79s
応答時間(最大)16.74s
応答時間(合計)32.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.72s
応答時間(最大)5.72s
応答時間(合計)5.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.70s
応答時間(最大)17.70s
応答時間(合計)17.70s
|