| #364#364 |
Qwen3.5-35B-A3Bnone
|
5.6… |
Qwen |
$0.120
↓
…
|
18.31s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)18.31s
応答時間(最大)209.15s
応答時間(合計)421.19s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 37.7%
- 入力トークン
- 218,886
- 出力トークン
- 135,768
- 推論トークン
- 0
- 応答時間(平均)
- 18.31s
- 応答時間(合計)
- 421.19s
- 応答時間(最大)
- 209.15s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)141.22s
応答時間(最大)141.22s
応答時間(合計)141.22s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.43s
応答時間(最大)4.39s
応答時間(合計)5.71s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.67s
応答時間(合計)4.18s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)128.29s
応答時間(最大)209.15s
応答時間(合計)256.58s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.16s
応答時間(最大)1.42s
応答時間(合計)2.33s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)507ms
応答時間(最大)549ms
応答時間(合計)1.52s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.19s
応答時間(最大)1.19s
応答時間(合計)1.19s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)809ms
応答時間(最大)983ms
応答時間(合計)1.62s
-
パズル解決
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.35s
応答時間(最大)2.26s
応答時間(合計)4.05s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.30s
応答時間(最大)2.30s
応答時間(合計)2.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)493ms
応答時間(最大)493ms
応答時間(合計)493ms
|
| #363#363 |
GLM 5none66/69 回 (目標: テストごとに 3 回)
|
5.6… |
Z.ai |
$0.140
↑
…
|
8.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13
応答時間(平均)8.74s
応答時間(最大)74.80s
応答時間(合計)131.17s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 190,675
- 出力トークン
- 5,577
- 推論トークン
- 0
- 応答時間(平均)
- 8.74s
- 応答時間(合計)
- 131.17s
- 応答時間(最大)
- 74.80s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)74.80s
応答時間(最大)74.80s
応答時間(合計)74.80s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.37s
応答時間(最大)3.39s
応答時間(合計)4.75s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.12s
応答時間(最大)8.84s
応答時間(合計)15.36s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.98s
応答時間(最大)4.98s
応答時間(合計)4.98s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.78s
応答時間(最大)5.78s
応答時間(合計)5.78s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.24s
応答時間(最大)2.24s
応答時間(合計)2.24s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.27s
応答時間(最大)3.27s
応答時間(合計)3.27s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.48s
応答時間(最大)1.48s
応答時間(合計)1.48s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.91s
応答時間(最大)2.08s
応答時間(合計)3.82s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.07s
応答時間(最大)11.07s
応答時間(合計)11.07s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.62s
応答時間(最大)3.62s
応答時間(合計)3.62s
|
| #362#362 |
ERNIE-Light-DT-1.0none
|
5.6… |
Baidu |
$0.524
…
|
24.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 3 33,71,79: 1
応答時間(平均)24.16s
応答時間(最大)449.96s
応答時間(合計)555.78s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 36.2%
- 入力トークン
- 197,790
- 出力トークン
- 76,149
- 推論トークン
- 0
- 応答時間(平均)
- 24.16s
- 応答時間(合計)
- 555.78s
- 応答時間(最大)
- 449.96s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)49.88s
応答時間(最大)49.88s
応答時間(合計)49.88s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.68s
応答時間(最大)2.71s
応答時間(合計)6.71s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 33,71,79: 1
応答時間(平均)151.72s
応答時間(最大)449.96s
応答時間(合計)455.17s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.41s
応答時間(最大)16.56s
応答時間(合計)20.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.36s
応答時間(最大)1.50s
応答時間(合計)2.72s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.25s
応答時間(最大)1.52s
応答時間(合計)3.75s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.44s
応答時間(最大)1.44s
応答時間(合計)1.44s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.27s
応答時間(最大)1.29s
応答時間(合計)2.54s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.54s
応答時間(最大)1.85s
応答時間(合計)4.63s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.15s
応答時間(最大)6.15s
応答時間(合計)6.15s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.98s
応答時間(最大)1.98s
応答時間(合計)1.98s
|
| #361#361 |
Step 5 Previewlow
|
5.6… |
Stepfun |
$4.110
…
|
138.27s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 7 API エラー: 2 不正解: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)138.27s
応答時間(最大)436.56s
応答時間(合計)3180.10s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 58.0%
- 入力トークン
- 261,256
- 出力トークン
- 1,425,268
- 推論トークン
- 0
- 応答時間(平均)
- 138.27s
- 応答時間(合計)
- 3180.10s
- 応答時間(最大)
- 436.56s
-
エージェントタスク
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)131.68s
応答時間(最大)131.68s
応答時間(合計)131.68s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)9.50s
応答時間(最大)30.90s
応答時間(合計)37.99s
-
コーディング
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 指示に従っていない: 1
応答時間(平均)378.21s
応答時間(最大)436.56s
応答時間(合計)1134.63s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)40.89s
応答時間(最大)70.80s
応答時間(合計)81.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.34s
応答時間(最大)3.65s
応答時間(合計)6.67s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)304.35s
応答時間(最大)386.66s
応答時間(合計)913.04s
-
汎用知能
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)162.27s
応答時間(最大)162.27s
応答時間(合計)162.27s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.78s
応答時間(最大)7.96s
応答時間(合計)13.55s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)94.98s
応答時間(最大)275.67s
応答時間(合計)284.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.77s
応答時間(最大)3.77s
応答時間(合計)3.77s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)409.77s
応答時間(最大)409.77s
応答時間(合計)409.77s
|
| #360#360 |
Solar Pro 4none
|
5.6… |
Upstage |
$0.022
…
|
8.14s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)8.14s
応答時間(最大)69.17s
応答時間(合計)187.23s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 31.9%
- 入力トークン
- 305,664
- 出力トークン
- 13,249
- 推論トークン
- 0
- 応答時間(平均)
- 8.14s
- 応答時間(合計)
- 187.23s
- 応答時間(最大)
- 69.17s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)69.17s
応答時間(最大)69.17s
応答時間(合計)69.17s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.38s
応答時間(最大)2.37s
応答時間(合計)5.53s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.61s
応答時間(最大)6.18s
応答時間(合計)7.83s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)35.11s
応答時間(最大)64.67s
応答時間(合計)70.22s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.85s
応答時間(最大)2.02s
応答時間(合計)3.70s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.65s
応答時間(最大)11.59s
応答時間(合計)13.95s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.40s
応答時間(最大)1.40s
応答時間(合計)1.40s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.67s
応答時間(最大)2.12s
応答時間(合計)3.34s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.33s
応答時間(最大)2.91s
応答時間(合計)6.98s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.83s
応答時間(最大)3.83s
応答時間(合計)3.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.29s
応答時間(最大)1.29s
応答時間(合計)1.29s
|
| #359#359 |
GPT-5.4none
|
5.6… |
OpenAI |
$0.690
…
|
3.89s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1
応答時間(平均)3.89s
応答時間(最大)43.73s
応答時間(合計)89.48s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 219,404
- 出力トークン
- 9,372
- 推論トークン
- 0
- 応答時間(平均)
- 3.89s
- 応答時間(合計)
- 89.48s
- 応答時間(最大)
- 43.73s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)43.73s
応答時間(最大)43.73s
応答時間(合計)43.73s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.21s
応答時間(最大)2.58s
応答時間(合計)4.85s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.62s
応答時間(最大)2.95s
応答時間(合計)4.85s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)9.26s
応答時間(最大)15.63s
応答時間(合計)18.52s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.04s
応答時間(最大)1.06s
応答時間(合計)2.08s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.15s
応答時間(最大)1.54s
応答時間(合計)3.46s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.78s
応答時間(最大)1.78s
応答時間(合計)1.78s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.17s
応答時間(合計)2.15s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.44s
応答時間(最大)1.82s
応答時間(合計)4.33s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)2.75s
応答時間(合計)2.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)990ms
応答時間(最大)990ms
応答時間(合計)990ms
|
| #358#358 |
Space Bunny Alphalow
|
5.7… |
Stealth |
$0.000
…
|
30.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2
応答時間(平均)30.63s
応答時間(最大)340.88s
応答時間(合計)704.47s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 53.6%
- 入力トークン
- 289,086
- 出力トークン
- 194,450
- 推論トークン
- 0
- 応答時間(平均)
- 30.63s
- 応答時間(合計)
- 704.47s
- 応答時間(最大)
- 340.88s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)89.00s
応答時間(最大)89.00s
応答時間(合計)89.00s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.75s
応答時間(最大)5.29s
応答時間(合計)11.01s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.60s
応答時間(最大)7.40s
応答時間(合計)19.80s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.17s
応答時間(最大)19.21s
応答時間(合計)24.34s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.35s
応答時間(最大)1.51s
応答時間(合計)2.71s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)65.69s
応答時間(最大)97.76s
応答時間(合計)197.08s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.78s
応答時間(最大)2.78s
応答時間(合計)2.78s
-
指示追従
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.43s
応答時間(最大)1.61s
応答時間(合計)2.87s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.51s
応答時間(最大)6.84s
応答時間(合計)10.53s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.48s
応答時間(最大)3.48s
応答時間(合計)3.48s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)340.88s
応答時間(最大)340.88s
応答時間(合計)340.88s
|
| #357#357 |
Gemma 4 31Bnone
|
5.7… |
Google |
$0.031
↓
…
|
7.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 API エラー: 2 指示に従っていない: 1
応答時間(平均)7.28s
応答時間(最大)44.73s
応答時間(合計)152.84s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 270,970
- 出力トークン
- 15,499
- 推論トークン
- 0
- 応答時間(平均)
- 7.28s
- 応答時間(合計)
- 152.84s
- 応答時間(最大)
- 44.73s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.73s
応答時間(最大)44.73s
応答時間(合計)44.73s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.85s
応答時間(最大)4.45s
応答時間(合計)7.40s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)11.19s
応答時間(最大)26.13s
応答時間(合計)33.58s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)29.95s
応答時間(最大)29.95s
応答時間(合計)29.95s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.25s
応答時間(最大)3.02s
応答時間(合計)4.51s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.65s
応答時間(最大)4.68s
応答時間(合計)10.96s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.09s
応答時間(最大)2.09s
応答時間(合計)2.09s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.84s
応答時間(最大)4.45s
応答時間(合計)5.68s
-
パズル解決
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)4.23s
応答時間(最大)7.63s
応答時間(合計)12.69s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.25s
応答時間(合計)1.25s
|
| #356#356 |
Dots 3 Note Previewmedium
|
5.7… |
Dots Studio |
$0.000
…
|
70.32s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 2 回答なし: 2 余分な書式: 1
応答時間(平均)70.32s
応答時間(最大)459.19s
応答時間(合計)1617.43s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 58.0%
- 入力トークン
- 208,598
- 出力トークン
- 120,583
- 推論トークン
- 590,044
- 応答時間(平均)
- 70.32s
- 応答時間(合計)
- 1617.43s
- 応答時間(最大)
- 459.19s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)140.48s
応答時間(最大)140.48s
応答時間(合計)140.48s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.76s
応答時間(最大)12.44s
応答時間(合計)31.04s
-
コーディング
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)309.15s
応答時間(最大)459.19s
応答時間(合計)927.45s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)60.81s
応答時間(最大)73.47s
応答時間(合計)121.61s
-
データ解析と抽出
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)78.47s
応答時間(最大)136.10s
応答時間(合計)156.95s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)47.54s
応答時間(最大)69.87s
応答時間(合計)142.62s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.20s
応答時間(最大)26.20s
応答時間(合計)26.20s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.77s
応答時間(最大)13.01s
応答時間(合計)15.55s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)8.71s
応答時間(最大)10.74s
応答時間(合計)26.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.97s
応答時間(最大)13.97s
応答時間(合計)13.97s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.46s
応答時間(最大)15.46s
応答時間(合計)15.46s
|
| #355#355 |
Hy4none
|
5.7… |
Tencent |
$0.114
…
|
5.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 3 指示に従っていない: 1
応答時間(平均)5.87s
応答時間(最大)75.59s
応答時間(合計)135.00s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 235,746
- 出力トークン
- 12,248
- 推論トークン
- 0
- 応答時間(平均)
- 5.87s
- 応答時間(合計)
- 135.00s
- 応答時間(最大)
- 75.59s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)75.59s
応答時間(最大)75.59s
応答時間(合計)75.59s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.42s
応答時間(最大)5.14s
応答時間(合計)9.69s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.68s
応答時間(最大)2.08s
応答時間(合計)5.03s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)7.14s
応答時間(最大)8.26s
応答時間(合計)14.29s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.54s
応答時間(合計)3.01s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.46s
応答時間(最大)1.47s
応答時間(合計)4.39s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.57s
応答時間(最大)1.57s
応答時間(合計)1.57s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.64s
応答時間(最大)1.85s
応答時間(合計)3.28s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.00s
応答時間(最大)2.80s
応答時間(合計)6.00s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)8.20s
応答時間(最大)8.20s
応答時間(合計)8.20s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.95s
応答時間(最大)3.95s
応答時間(合計)3.95s
|
| #354#354 |
Seed 2.1 Turbonone
|
5.7… |
Bytedance Seed |
$0.182
…
|
9.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 回答なし: 1
応答時間(平均)9.65s
応答時間(最大)71.45s
応答時間(合計)221.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 52.2%
- 入力トークン
- 298,242
- 出力トークン
- 13,105
- 推論トークン
- 0
- 応答時間(平均)
- 9.65s
- 応答時間(合計)
- 221.91s
- 応答時間(最大)
- 71.45s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)71.45s
応答時間(最大)71.45s
応答時間(合計)71.45s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.04s
応答時間(最大)10.18s
応答時間(合計)16.17s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.35s
応答時間(最大)4.27s
応答時間(合計)7.05s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)41.25s
応答時間(最大)55.92s
応答時間(合計)82.51s
-
データ解析と抽出
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.63s
応答時間(最大)3.40s
応答時間(合計)5.26s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.36s
応答時間(最大)1.63s
応答時間(合計)4.07s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.44s
応答時間(最大)2.44s
応答時間(合計)2.44s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.82s
応答時間(最大)1.89s
応答時間(合計)3.64s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.31s
応答時間(最大)4.48s
応答時間(合計)6.93s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.28s
応答時間(最大)20.28s
応答時間(合計)20.28s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)2.12s
応答時間(合計)2.12s
|
| #353#353 |
Mistral Large 4none
|
5.7… |
Mistral |
$0.290
…
|
20.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)20.43s
応答時間(最大)192.80s
応答時間(合計)469.88s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 31.9%
- 入力トークン
- 257,872
- 出力トークン
- 54,388
- 推論トークン
- 0
- 応答時間(平均)
- 20.43s
- 応答時間(合計)
- 469.88s
- 応答時間(最大)
- 192.80s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)58.97s
応答時間(最大)58.97s
応答時間(合計)58.97s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.59s
応答時間(最大)3.26s
応答時間(合計)6.35s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)85.04s
応答時間(最大)192.80s
応答時間(合計)255.11s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)36.86s
応答時間(最大)58.74s
応答時間(合計)73.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.08s
応答時間(最大)2.51s
応答時間(合計)4.16s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.61s
応答時間(最大)2.34s
応答時間(合計)4.84s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.39s
応答時間(最大)2.39s
応答時間(合計)2.39s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.16s
応答時間(最大)1.51s
応答時間(合計)2.32s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)19.31s
応答時間(最大)54.26s
応答時間(合計)57.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.30s
応答時間(最大)3.30s
応答時間(合計)3.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)780ms
応答時間(最大)780ms
応答時間(合計)780ms
|
| #352#352 |
GPT-5.4 Mininone
|
5.7… |
OpenAI |
$0.170
…
|
3.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 3
応答時間(平均)3.34s
応答時間(最大)41.98s
応答時間(合計)76.84s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 172,438
- 出力トークン
- 8,828
- 推論トークン
- 0
- 応答時間(平均)
- 3.34s
- 応答時間(合計)
- 76.84s
- 応答時間(最大)
- 41.98s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)41.98s
応答時間(最大)41.98s
応答時間(合計)41.98s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)929ms
応答時間(最大)1.55s
応答時間(合計)3.72s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)913ms
応答時間(最大)1.19s
応答時間(合計)2.74s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.22s
応答時間(最大)9.92s
応答時間(合計)12.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.30s
応答時間(最大)1.58s
応答時間(合計)2.61s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.31s
応答時間(最大)1.78s
応答時間(合計)3.93s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.82s
応答時間(最大)1.82s
応答時間(合計)1.82s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)728ms
応答時間(最大)731ms
応答時間(合計)1.46s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)836ms
応答時間(最大)958ms
応答時間(合計)2.51s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.32s
応答時間(最大)2.32s
応答時間(合計)2.32s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.33s
応答時間(最大)1.33s
応答時間(合計)1.33s
|
| #351#351 |
GPT-5 Nanomedium
|
5.7… |
OpenAI |
$0.159
↑
…
|
56.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 回答なし: 1 タイムアウト: 1
応答時間(平均)56.55s
応答時間(最大)227.89s
応答時間(合計)961.32s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 53.6%
- 入力トークン
- 314,436
- 出力トークン
- 13,578
- 推論トークン
- 294,343
- 応答時間(平均)
- 56.55s
- 応答時間(合計)
- 961.32s
- 応答時間(最大)
- 227.89s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)94.09s
応答時間(最大)94.09s
応答時間(合計)94.09s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)25.50s
応答時間(最大)37.73s
応答時間(合計)51.00s
-
コーディング
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)41.62s
応答時間(最大)54.86s
応答時間(合計)124.86s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)146.93s
応答時間(最大)227.89s
応答時間(合計)293.85s
-
データ解析と抽出
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.42s
応答時間(最大)21.42s
応答時間(合計)21.42s
-
ドメイン特化
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)124.13s
応答時間(最大)204.02s
応答時間(合計)248.27s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)17.51s
応答時間(最大)17.51s
応答時間(合計)17.51s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.64s
応答時間(最大)15.64s
応答時間(合計)15.64s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)20.63s
応答時間(最大)22.94s
応答時間(合計)41.26s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)33.30s
応答時間(最大)33.30s
応答時間(合計)33.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)20.13s
応答時間(最大)20.13s
応答時間(合計)20.13s
|
| #350#350 |
Trinity Large Thinkinghigh
|
5.7… |
Arcee AI |
$0.794
↑
…
|
74.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 4 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)74.52s
応答時間(最大)510.21s
応答時間(合計)1713.90s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 283,116
- 出力トークン
- 277,920
- 推論トークン
- 665,124
- 応答時間(平均)
- 74.52s
- 応答時間(合計)
- 1713.90s
- 応答時間(最大)
- 510.21s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.97s
応答時間(最大)44.97s
応答時間(合計)44.97s
-
反AIトリック
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.13s
応答時間(最大)8.33s
応答時間(合計)16.53s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1 不正解: 1
応答時間(平均)245.04s
応答時間(最大)510.21s
応答時間(合計)735.13s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)262.39s
応答時間(最大)419.41s
応答時間(合計)524.77s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.98s
応答時間(最大)20.06s
応答時間(合計)27.96s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)66.94s
応答時間(最大)118.63s
応答時間(合計)200.81s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.90s
応答時間(最大)12.90s
応答時間(合計)12.90s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.57s
応答時間(合計)8.24s
-
パズル解決
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)3.84s
応答時間(最大)6.38s
応答時間(合計)11.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.96s
応答時間(最大)5.96s
応答時間(合計)5.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)125.13s
応答時間(最大)125.13s
応答時間(合計)125.13s
|
| #349#349 |
Ring 2.6 1tmedium
|
5.7… |
Inclusionai |
$0.102
↑
…
|
65.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 3 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)65.52s
応答時間(最大)304.19s
応答時間(合計)1376.01s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 56.5%
- 入力トークン
- 113,613
- 出力トークン
- 122,706
- 推論トークン
- 42,325
- 応答時間(平均)
- 65.52s
- 応答時間(合計)
- 1376.01s
- 応答時間(最大)
- 304.19s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)21ms
応答時間(最大)21ms
応答時間(合計)21ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.21s
応答時間(最大)89.34s
応答時間(合計)168.84s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)59.65s
応答時間(最大)59.65s
応答時間(合計)59.65s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)257.28s
応答時間(最大)304.19s
応答時間(合計)514.55s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.36s
応答時間(最大)54.24s
応答時間(合計)74.71s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)65.30s
応答時間(最大)150.55s
応答時間(合計)195.89s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)58.26s
応答時間(最大)58.26s
応答時間(合計)58.26s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.78s
応答時間(最大)17.75s
応答時間(合計)23.55s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)20.73s
応答時間(最大)42.39s
応答時間(合計)62.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)104.44s
応答時間(最大)104.44s
応答時間(合計)104.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)113.91s
応答時間(最大)113.91s
応答時間(合計)113.91s
|
| #348#348 |
Ling 3.0 Flashhigh
|
5.8… |
Inclusionai |
$0.021
↕
…
|
13.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 2 無効なツール呼び出し: 2
応答時間(平均)13.08s
応答時間(最大)75.27s
応答時間(合計)287.79s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 132,044
- 出力トークン
- 92,135
- 推論トークン
- 207,321
- 応答時間(平均)
- 13.08s
- 応答時間(合計)
- 287.79s
- 応答時間(最大)
- 75.27s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)42ms
応答時間(最大)42ms
応答時間(合計)42ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.26s
応答時間(最大)10.43s
応答時間(合計)17.02s
-
コーディング
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)14.85s
応答時間(最大)23.25s
応答時間(合計)44.56s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)50.41s
応答時間(最大)75.27s
応答時間(合計)100.82s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.15s
応答時間(最大)11.16s
応答時間(合計)14.31s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)30.29s
応答時間(最大)40.12s
応答時間(合計)60.58s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.98s
応答時間(最大)2.98s
応答時間(合計)2.98s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.85s
応答時間(最大)1.99s
応答時間(合計)3.70s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.33s
応答時間(最大)6.40s
応答時間(合計)12.98s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.47s
応答時間(最大)6.47s
応答時間(合計)6.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.35s
応答時間(最大)24.35s
応答時間(合計)24.35s
|
| #347#347 |
DeepSeek V4.1 Flashnone
|
5.8… |
DeepSeek |
$0.391
↑
…
|
16.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)16.63s
応答時間(最大)247.66s
応答時間(合計)382.53s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.2%
- 入力トークン
- 337,756
- 出力トークン
- 292,779
- 推論トークン
- 0
- 応答時間(平均)
- 16.63s
- 応答時間(合計)
- 382.53s
- 応答時間(最大)
- 247.66s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)55.81s
応答時間(最大)55.81s
応答時間(合計)55.81s
-
反AIトリック
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.90s
応答時間(最大)2.99s
応答時間(合計)7.61s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)83.66s
応答時間(最大)247.66s
応答時間(合計)250.98s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)10.37s
応答時間(最大)14.56s
応答時間(合計)20.73s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)3.09s
応答時間(最大)5.97s
応答時間(合計)6.19s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.46s
応答時間(最大)13.30s
応答時間(合計)16.37s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.69s
応答時間(最大)1.69s
応答時間(合計)1.69s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.81s
応答時間(最大)12.42s
応答時間(合計)13.61s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.49s
応答時間(最大)1.83s
応答時間(合計)4.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.76s
応答時間(最大)3.76s
応答時間(合計)3.76s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.32s
応答時間(最大)1.32s
応答時間(合計)1.32s
|
| #346#346 |
GPT-5.6 Terranone
|
5.8… |
OpenAI |
$0.377
↓
…
|
4.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)4.11s
応答時間(最大)57.98s
応答時間(合計)94.52s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 213,564
- 出力トークン
- 7,381
- 推論トークン
- 0
- 応答時間(平均)
- 4.11s
- 応答時間(合計)
- 94.52s
- 応答時間(最大)
- 57.98s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)57.98s
応答時間(最大)57.98s
応答時間(合計)57.98s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)942ms
応答時間(最大)1.09s
応答時間(合計)3.77s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.00s
応答時間(最大)1.14s
応答時間(合計)3.01s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)7.02s
応答時間(最大)10.07s
応答時間(合計)14.05s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.27s
応答時間(合計)2.26s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)843ms
応答時間(最大)923ms
応答時間(合計)2.53s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.03s
応答時間(最大)1.03s
応答時間(合計)1.03s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.15s
応答時間(最大)1.48s
応答時間(合計)2.30s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.23s
応答時間(最大)2.02s
応答時間(合計)3.70s
-
ツール呼び出し
: 9.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.10s
応答時間(最大)3.10s
応答時間(合計)3.10s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)787ms
応答時間(最大)787ms
応答時間(合計)787ms
|
| #345#345 |
Hy4high
|
5.8… |
Tencent |
$3.055
…
|
219.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 7 無効なツール呼び出し: 3 不正解: 2 指示に従っていない: 1
応答時間(平均)219.63s
応答時間(最大)540.04s
応答時間(合計)5051.38s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 13
- 試行ごとの合格率
- 56.5%
- 入力トークン
- 341,340
- 出力トークン
- 5,382
- 推論トークン
- 2,323,513
- 応答時間(平均)
- 219.63s
- 応答時間(合計)
- 5051.38s
- 応答時間(最大)
- 540.04s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)123.43s
応答時間(最大)123.43s
応答時間(合計)123.43s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)106.08s
応答時間(最大)276.50s
応答時間(合計)424.31s
-
コーディング
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)237.29s
応答時間(最大)381.26s
応答時間(合計)711.87s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)267.91s
応答時間(最大)270.06s
応答時間(合計)535.81s
-
データ解析と抽出
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)144.49s
応答時間(最大)236.10s
応答時間(合計)288.99s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)483.36s
応答時間(最大)540.04s
応答時間(合計)1450.09s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)265.14s
応答時間(最大)265.14s
応答時間(合計)265.14s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)233.35s
応答時間(最大)334.51s
応答時間(合計)466.71s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)214.71s
応答時間(最大)386.19s
応答時間(合計)644.12s
-
ツール呼び出し
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)32.48s
応答時間(最大)32.48s
応答時間(合計)32.48s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.44s
応答時間(最大)108.44s
応答時間(合計)108.44s
|
| #344#344 |
DeepSeek V4.1 Flash 1017none
|
5.8… |
DeepSeek |
$0.055
…
|
3.46s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 1
応答時間(平均)3.46s
応答時間(最大)43.95s
応答時間(合計)79.48s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 36.2%
- 入力トークン
- 293,927
- 出力トークン
- 16,806
- 推論トークン
- 0
- 応答時間(平均)
- 3.46s
- 応答時間(合計)
- 79.48s
- 応答時間(最大)
- 43.95s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)43.95s
応答時間(最大)43.95s
応答時間(合計)43.95s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.14s
応答時間(最大)2.84s
応答時間(合計)4.55s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.38s
応答時間(最大)5.85s
応答時間(合計)7.15s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.51s
応答時間(最大)13.15s
応答時間(合計)15.02s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)544ms
応答時間(最大)612ms
応答時間(合計)1.09s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)463ms
応答時間(最大)614ms
応答時間(合計)1.39s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)616ms
応答時間(最大)616ms
応答時間(合計)616ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)608ms
応答時間(最大)738ms
応答時間(合計)1.22s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)750ms
応答時間(最大)1.21s
応答時間(合計)2.25s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.60s
応答時間(最大)1.60s
応答時間(合計)1.60s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)655ms
応答時間(最大)655ms
応答時間(合計)655ms
|
| #343#343 |
Qwen3.8 Flash Nextnone候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8-flash-next-iq3_s · IQ3_S · Strata 0.1.39 · NVIDIA GeForce RTX 3090.
|
5.8… |
Qwen |
~$0.011
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.1095 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.010823.
|
5.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 回答なし: 1
応答時間(平均)5.71s
応答時間(最大)65.25s
応答時間(合計)131.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.5%
- 入力トークン
- 266,004
- 出力トークン
- 9,077
- 推論トークン
- 0
- 応答時間(平均)
- 5.71s
- 応答時間(合計)
- 131.36s
- 応答時間(最大)
- 65.25s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)65.25s
応答時間(最大)65.25s
応答時間(合計)65.25s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.70s
応答時間(最大)4.03s
応答時間(合計)6.82s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.64s
応答時間(最大)2.70s
応答時間(合計)4.91s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)11.98s
応答時間(最大)16.02s
応答時間(合計)23.95s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.60s
応答時間(最大)1.71s
応答時間(合計)3.19s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.38s
応答時間(最大)15.16s
応答時間(合計)16.15s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.09s
応答時間(最大)1.09s
応答時間(合計)1.09s
-
指示追従
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)612ms
応答時間(最大)637ms
応答時間(合計)1.22s
-
パズル解決
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.30s
応答時間(最大)2.37s
応答時間(合計)3.89s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.35s
応答時間(最大)4.35s
応答時間(合計)4.35s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)540ms
応答時間(最大)540ms
応答時間(合計)540ms
|
| #342#342 |
Hy4low
|
5.8… |
Tencent |
$2.365
…
|
177.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 5 無効なツール呼び出し: 3 不正解: 3 指示に従っていない: 1
応答時間(平均)177.34s
応答時間(最大)490.23s
応答時間(合計)4078.93s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 314,431
- 出力トークン
- 3,549
- 推論トークン
- 1,782,135
- 応答時間(平均)
- 177.34s
- 応答時間(合計)
- 4078.93s
- 応答時間(最大)
- 490.23s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)134.95s
応答時間(最大)134.95s
応答時間(合計)134.95s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.81s
応答時間(最大)55.78s
応答時間(合計)83.25s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1
応答時間(平均)275.42s
応答時間(最大)376.50s
応答時間(合計)826.26s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)282.21s
応答時間(最大)374.78s
応答時間(合計)564.42s
-
データ解析と抽出
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)92.71s
応答時間(最大)145.06s
応答時間(合計)185.42s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)374.45s
応答時間(最大)490.23s
応答時間(合計)1123.34s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)182.94s
応答時間(最大)182.94s
応答時間(合計)182.94s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)127.06s
応答時間(最大)230.84s
応答時間(合計)254.12s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)180.92s
応答時間(最大)379.89s
応答時間(合計)542.77s
-
ツール呼び出し
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)47.34s
応答時間(最大)47.34s
応答時間(合計)47.34s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)134.13s
応答時間(最大)134.13s
応答時間(合計)134.13s
|
| #341#341 |
Qwen3.7 Flashnone
|
5.9… |
Qwen |
$0.028
…
|
14.70s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)14.70s
応答時間(最大)186.24s
応答時間(合計)338.13s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.2%
- 入力トークン
- 410,787
- 出力トークン
- 117,742
- 推論トークン
- 0
- 応答時間(平均)
- 14.70s
- 応答時間(合計)
- 338.13s
- 応答時間(最大)
- 186.24s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)117.01s
応答時間(最大)117.01s
応答時間(合計)117.01s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.55s
応答時間(最大)6.80s
応答時間(合計)10.19s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.55s
応答時間(最大)2.70s
応答時間(合計)4.65s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)94.59s
応答時間(最大)186.24s
応答時間(合計)189.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.09s
応答時間(最大)3.22s
応答時間(合計)4.18s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)814ms
応答時間(最大)979ms
応答時間(合計)2.44s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)963ms
応答時間(最大)963ms
応答時間(合計)963ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)892ms
応答時間(最大)990ms
応答時間(合計)1.78s
-
パズル解決
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.39s
応答時間(最大)2.29s
応答時間(合計)4.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.80s
応答時間(最大)2.80s
応答時間(合計)2.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)766ms
応答時間(最大)766ms
応答時間(合計)766ms
|
| #340#340 |
Nemotron 3 Ultranone
|
5.9… |
NVIDIA |
$0.164
↕
…
|
6.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 API エラー: 2 指示に従っていない: 1
応答時間(平均)6.76s
応答時間(最大)70.17s
応答時間(合計)155.50s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 275,381
- 出力トークン
- 11,544
- 推論トークン
- 0
- 応答時間(平均)
- 6.76s
- 応答時間(合計)
- 155.50s
- 応答時間(最大)
- 70.17s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)70.17s
応答時間(最大)70.17s
応答時間(合計)70.17s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.35s
応答時間(最大)6.55s
応答時間(合計)9.42s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.02s
応答時間(最大)1.83s
応答時間(合計)3.07s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)21.14s
応答時間(最大)37.50s
応答時間(合計)42.28s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.94s
応答時間(最大)2.86s
応答時間(合計)3.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)758ms
応答時間(最大)1.00s
応答時間(合計)2.28s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.49s
応答時間(最大)13.49s
応答時間(合計)13.49s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)1.72s
応答時間(合計)2.92s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.06s
応答時間(最大)1.53s
応答時間(合計)3.17s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.99s
応答時間(最大)2.99s
応答時間(合計)2.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.83s
応答時間(最大)1.83s
応答時間(合計)1.83s
|