| #51#51 |
Claude Haiku 5.5xhigh
|
9.1… |
Anthropic |
$0.140
…
|
16.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)16.58s
応答時間(最大)92.74s
応答時間(合計)381.40s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 394,509
- 出力トークン
- 10,349
- 推論トークン
- 188,919
- 応答時間(平均)
- 16.58s
- 応答時間(合計)
- 381.40s
- 応答時間(最大)
- 92.74s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.72s
応答時間(最大)62.72s
応答時間(合計)62.72s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.88s
応答時間(最大)3.40s
応答時間(合計)11.53s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.13s
応答時間(最大)19.82s
応答時間(合計)39.38s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.95s
応答時間(最大)55.34s
応答時間(合計)77.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.65s
応答時間(最大)3.86s
応答時間(合計)7.30s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)47.83s
応答時間(最大)92.74s
応答時間(合計)143.50s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.80s
応答時間(最大)9.80s
応答時間(合計)9.80s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.34s
応答時間(最大)3.64s
応答時間(合計)6.68s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.80s
応答時間(最大)5.83s
応答時間(合計)11.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.42s
応答時間(最大)6.42s
応答時間(合計)6.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)4.79s
応答時間(最大)4.79s
応答時間(合計)4.79s
|
| #52#52 |
Muse Spark 1.3high
|
9.1… |
Meta |
$1.891
…
|
52.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 回答なし: 1
応答時間(平均)52.87s
応答時間(最大)251.53s
応答時間(合計)1216.04s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 257,320
- 出力トークン
- 14,459
- 推論トークン
- 354,683
- 応答時間(平均)
- 52.87s
- 応答時間(合計)
- 1216.04s
- 応答時間(最大)
- 251.53s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)61.28s
応答時間(最大)61.28s
応答時間(合計)61.28s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.71s
応答時間(最大)7.10s
応答時間(合計)22.85s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.66s
応答時間(最大)60.27s
応答時間(合計)154.98s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.55s
応答時間(最大)80.16s
応答時間(合計)111.10s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.01s
応答時間(最大)7.41s
応答時間(合計)14.02s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)174.56s
応答時間(最大)251.53s
応答時間(合計)523.68s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.49s
応答時間(最大)9.49s
応答時間(合計)9.49s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.70s
応答時間(最大)24.06s
応答時間(合計)29.41s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)38.42s
応答時間(最大)100.24s
応答時間(合計)115.25s
-
ツール呼び出し
: 9.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)33.95s
応答時間(最大)33.95s
応答時間(合計)33.95s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)140.05s
応答時間(最大)140.05s
応答時間(合計)140.05s
|
| #53#53 |
Muse Wonderlow
|
9.1… |
Meta |
$2.637
…
|
16.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 2
応答時間(平均)16.00s
応答時間(最大)83.98s
応答時間(合計)367.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 244,997
- 出力トークン
- 11,148
- 推論トークン
- 71,699
- 応答時間(平均)
- 16.00s
- 応答時間(合計)
- 367.91s
- 応答時間(最大)
- 83.98s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.57s
応答時間(最大)44.57s
応答時間(合計)44.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.37s
応答時間(最大)5.88s
応答時間(合計)17.49s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.81s
応答時間(最大)30.18s
応答時間(合計)53.44s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.68s
応答時間(最大)25.24s
応答時間(合計)49.37s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.27s
応答時間(最大)4.55s
応答時間(合計)8.54s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)51.40s
応答時間(最大)83.98s
応答時間(合計)154.20s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.94s
応答時間(最大)3.94s
応答時間(合計)3.94s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.08s
応答時間(最大)3.67s
応答時間(合計)4.15s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)5.08s
応答時間(最大)8.45s
応答時間(合計)15.24s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.75s
応答時間(最大)8.75s
応答時間(合計)8.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.23s
応答時間(最大)8.23s
応答時間(合計)8.23s
|
| #54#54 |
Paretodefault
|
9.1… |
Unbiased |
$1.520
…
|
33.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 無効なツール呼び出し: 1
応答時間(平均)33.47s
応答時間(最大)143.33s
応答時間(合計)769.84s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 87.0%
- 入力トークン
- 223,559
- 出力トークン
- 128,144
- 推論トークン
- 0
- 応答時間(平均)
- 33.47s
- 応答時間(合計)
- 769.84s
- 応答時間(最大)
- 143.33s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)76.54s
応答時間(最大)76.54s
応答時間(合計)76.54s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.39s
応答時間(最大)6.78s
応答時間(合計)25.58s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)50.12s
応答時間(最大)71.69s
応答時間(合計)150.35s
-
複合
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)53.54s
応答時間(最大)97.74s
応答時間(合計)107.07s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.57s
応答時間(最大)2.78s
応答時間(合計)5.15s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)98.85s
応答時間(最大)143.33s
応答時間(合計)296.55s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.63s
応答時間(最大)8.63s
応答時間(合計)8.63s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.95s
応答時間(最大)7.27s
応答時間(合計)9.91s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.24s
応答時間(最大)23.48s
応答時間(合計)54.71s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.29s
応答時間(最大)3.29s
応答時間(合計)3.29s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)32.07s
応答時間(最大)32.07s
応答時間(合計)32.07s
|
| #55#55 |
Seed 2.1 Turbohigh
|
9.1… |
Bytedance Seed |
$1.892
…
|
170.52s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)170.52s
応答時間(最大)584.71s
応答時間(合計)3922.04s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 246,954
- 出力トークン
- 8,378
- 推論トークン
- 698,942
- 応答時間(平均)
- 170.52s
- 応答時間(合計)
- 3922.04s
- 応答時間(最大)
- 584.71s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)94.84s
応答時間(最大)94.84s
応答時間(合計)94.84s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)47.01s
応答時間(最大)84.42s
応答時間(合計)188.05s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)336.02s
応答時間(最大)436.54s
応答時間(合計)1008.06s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)408.85s
応答時間(最大)441.41s
応答時間(合計)817.69s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)33.70s
応答時間(最大)50.78s
応答時間(合計)67.39s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)506.22s
応答時間(最大)584.71s
応答時間(合計)1518.67s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)25.69s
応答時間(最大)25.69s
応答時間(合計)25.69s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)9.33s
応答時間(合計)15.32s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.26s
応答時間(最大)49.35s
応答時間(合計)81.77s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.97s
応答時間(最大)25.97s
応答時間(合計)25.97s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)78.58s
応答時間(最大)78.58s
応答時間(合計)78.58s
|
| #56#56 |
Muse Wonderminimal
|
9.1… |
Meta |
$1.639
…
|
7.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 3 不正解: 3
応答時間(平均)7.72s
応答時間(最大)42.89s
応答時間(合計)177.57s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 238,532
- 出力トークン
- 9,812
- 推論トークン
- 24,412
- 応答時間(平均)
- 7.72s
- 応答時間(合計)
- 177.57s
- 応答時間(最大)
- 42.89s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.89s
応答時間(最大)42.89s
応答時間(合計)42.89s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.94s
応答時間(最大)4.27s
応答時間(合計)11.75s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.86s
応答時間(最大)8.22s
応答時間(合計)20.59s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.14s
応答時間(最大)19.34s
応答時間(合計)32.28s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.31s
応答時間(最大)3.56s
応答時間(合計)6.63s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)15.00s
応答時間(最大)17.97s
応答時間(合計)44.99s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.57s
応答時間(最大)2.57s
応答時間(合計)2.57s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.39s
応答時間(最大)2.22s
応答時間(合計)2.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)1.36s
応答時間(最大)2.47s
応答時間(合計)4.07s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.86s
応答時間(最大)4.86s
応答時間(合計)4.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.17s
応答時間(最大)4.17s
応答時間(合計)4.17s
|
| #57#57 |
Claude Fable 5.2medium
|
9.1… |
Anthropic |
$3.582
…
|
9.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)9.78s
応答時間(最大)52.36s
応答時間(合計)224.98s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 88.4%
- 入力トークン
- 295,326
- 出力トークン
- 9,699
- 推論トークン
- 20,765
- 応答時間(平均)
- 9.78s
- 応答時間(合計)
- 224.98s
- 応答時間(最大)
- 52.36s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)52.36s
応答時間(最大)52.36s
応答時間(合計)52.36s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.27s
応答時間(最大)4.14s
応答時間(合計)13.07s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.02s
応答時間(最大)8.49s
応答時間(合計)24.07s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.73s
応答時間(最大)28.99s
応答時間(合計)41.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.03s
応答時間(最大)4.12s
応答時間(合計)8.05s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)15.22s
応答時間(最大)18.90s
応答時間(合計)45.66s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.47s
応答時間(最大)3.47s
応答時間(合計)3.47s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.56s
応答時間(最大)3.96s
応答時間(合計)7.12s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.46s
応答時間(最大)4.20s
応答時間(合計)10.39s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.87s
応答時間(最大)12.87s
応答時間(合計)12.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.46s
応答時間(最大)6.46s
応答時間(合計)6.46s
|
| #58#58 |
Particle-1low
|
9.1… |
Particle AI |
$0.134
…
|
18.93s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 1 回答なし: 1
応答時間(平均)18.93s
応答時間(最大)173.97s
応答時間(合計)435.48s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 264,977
- 出力トークン
- 6,605
- 推論トークン
- 234,415
- 応答時間(平均)
- 18.93s
- 応答時間(合計)
- 435.48s
- 応答時間(最大)
- 173.97s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.60s
応答時間(最大)44.60s
応答時間(合計)44.60s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.92s
応答時間(最大)2.53s
応答時間(合計)7.67s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.73s
応答時間(最大)43.60s
応答時間(合計)65.18s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.86s
応答時間(最大)30.09s
応答時間(合計)35.72s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.22s
応答時間(最大)2.59s
応答時間(合計)4.44s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)85.62s
応答時間(最大)173.97s
応答時間(合計)256.86s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.92s
応答時間(最大)2.92s
応答時間(合計)2.92s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.55s
応答時間(最大)1.61s
応答時間(合計)3.10s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.56s
応答時間(最大)3.76s
応答時間(合計)7.67s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.47s
応答時間(最大)2.47s
応答時間(合計)2.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.87s
応答時間(最大)4.87s
応答時間(合計)4.87s
|
| #59#59 |
Gemini 4 Hydrogenhigh
|
9.1… |
Google |
$2.019
…
|
23.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2 不正解: 2
応答時間(平均)23.79s
応答時間(最大)98.19s
応答時間(合計)547.07s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 94.2%
- 入力トークン
- 282,413
- 出力トークン
- 6,186
- 推論トークン
- 206,452
- 応答時間(平均)
- 23.79s
- 応答時間(合計)
- 547.07s
- 応答時間(最大)
- 98.19s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.28s
応答時間(最大)73.28s
応答時間(合計)73.28s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.51s
応答時間(最大)4.58s
応答時間(合計)14.05s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.18s
応答時間(最大)29.36s
応答時間(合計)57.55s
-
複合
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)68.35s
応答時間(最大)72.19s
応答時間(合計)136.69s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.99s
応答時間(最大)5.12s
応答時間(合計)9.98s
-
ドメイン特化
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)69.17s
応答時間(最大)98.19s
応答時間(合計)207.50s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.24s
応答時間(最大)6.24s
応答時間(合計)6.24s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.54s
応答時間(最大)8.22s
応答時間(合計)11.09s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.19s
応答時間(最大)3.68s
応答時間(合計)9.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.26s
応答時間(最大)13.26s
応答時間(合計)13.26s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.88s
応答時間(最大)7.88s
応答時間(合計)7.88s
|
| #60#60 |
Muse Spark Openxhigh
|
9.0… |
Meta |
$2.081
…
|
92.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 2 余分な書式: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)92.38s
応答時間(最大)482.30s
応答時間(合計)2124.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 271,242
- 出力トークン
- 11,803
- 推論トークン
- 397,838
- 応答時間(平均)
- 92.38s
- 応答時間(合計)
- 2124.67s
- 応答時間(最大)
- 482.30s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)84.28s
応答時間(最大)84.28s
応答時間(合計)84.28s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)20.08s
応答時間(最大)33.08s
応答時間(合計)80.34s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.43s
応答時間(最大)112.35s
応答時間(合計)154.28s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)133.96s
応答時間(最大)223.43s
応答時間(合計)267.93s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.36s
応答時間(最大)31.22s
応答時間(合計)32.72s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 タイムアウト: 1 不正解: 1
応答時間(平均)341.54s
応答時間(最大)482.30s
応答時間(合計)1024.61s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.26s
応答時間(最大)7.26s
応答時間(合計)7.26s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.45s
応答時間(最大)23.65s
応答時間(合計)46.90s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)112.47s
応答時間(最大)313.11s
応答時間(合計)337.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.06s
応答時間(最大)5.06s
応答時間(合計)5.06s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)83.89s
応答時間(最大)83.89s
応答時間(合計)83.89s
|
| #61#61 |
Gemini 3.5 Flashlow
|
9.0… |
Google |
$0.752
…
|
7.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 無効なツール呼び出し: 1
応答時間(平均)7.85s
応答時間(最大)53.74s
応答時間(合計)180.45s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 244,533
- 出力トークン
- 3,450
- 推論トークン
- 39,280
- 応答時間(平均)
- 7.85s
- 応答時間(合計)
- 180.45s
- 応答時間(最大)
- 53.74s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)53.74s
応答時間(最大)53.74s
応答時間(合計)53.74s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.52s
応答時間(最大)5.40s
応答時間(合計)10.08s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.71s
応答時間(最大)9.05s
応答時間(合計)20.13s
-
複合
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)29.99s
応答時間(最大)53.55s
応答時間(合計)59.98s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.81s
応答時間(最大)2.32s
応答時間(合計)3.63s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.89s
応答時間(最大)6.40s
応答時間(合計)14.68s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.27s
応答時間(最大)2.27s
応答時間(合計)2.27s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.86s
応答時間(最大)2.10s
応答時間(合計)3.73s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.35s
応答時間(最大)3.25s
応答時間(合計)7.06s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.27s
応答時間(最大)3.27s
応答時間(合計)3.27s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.88s
応答時間(最大)1.88s
応答時間(合計)1.88s
|
| #62#62 |
Nex-N2.6medium
|
9.0… |
NEX AGI |
$0.169
…
|
46.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)46.28s
応答時間(最大)230.46s
応答時間(合計)1064.55s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 331,297
- 出力トークン
- 6,763
- 推論トークン
- 314,638
- 応答時間(平均)
- 46.28s
- 応答時間(合計)
- 1064.55s
- 応答時間(最大)
- 230.46s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.89s
応答時間(最大)73.89s
応答時間(合計)73.89s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.92s
応答時間(最大)4.34s
応答時間(合計)11.66s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.24s
応答時間(最大)93.22s
応答時間(合計)147.72s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)87.71s
応答時間(最大)153.90s
応答時間(合計)175.42s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.20s
応答時間(最大)6.64s
応答時間(合計)12.40s
-
ドメイン特化
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)170.88s
応答時間(最大)230.46s
応答時間(合計)512.64s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.73s
応答時間(最大)5.73s
応答時間(合計)5.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.89s
応答時間(最大)4.87s
応答時間(合計)7.78s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.22s
応答時間(最大)7.11s
応答時間(合計)12.67s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.07s
応答時間(最大)7.07s
応答時間(合計)7.07s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)97.58s
応答時間(最大)97.58s
応答時間(合計)97.58s
|
| #63#63 |
Qwen3.8 Max (0902)medium
|
9.0… |
Qwen |
$1.096
…
|
30.42s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5
応答時間(平均)30.42s
応答時間(最大)168.09s
応答時間(合計)699.68s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 268,540
- 出力トークン
- 7,499
- 推論トークン
- 85,499
- 応答時間(平均)
- 30.42s
- 応答時間(合計)
- 699.68s
- 応答時間(最大)
- 168.09s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)127.50s
応答時間(最大)127.50s
応答時間(合計)127.50s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.03s
応答時間(最大)8.44s
応答時間(合計)20.13s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)45.74s
応答時間(最大)71.38s
応答時間(合計)137.23s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)94.38s
応答時間(最大)168.09s
応答時間(合計)188.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.54s
応答時間(最大)11.98s
応答時間(合計)21.08s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)49.45s
応答時間(最大)72.93s
応答時間(合計)148.35s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.56s
応答時間(最大)7.56s
応答時間(合計)7.56s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.24s
応答時間(最大)4.90s
応答時間(合計)8.48s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.89s
応答時間(最大)7.13s
応答時間(合計)17.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.01s
応答時間(最大)17.01s
応答時間(合計)17.01s
|
| #64#64 |
Muse Spark 1.3medium
|
9.0… |
Meta |
$1.712
…
|
39.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 無効なツール呼び出し: 1
応答時間(平均)39.83s
応答時間(最大)219.77s
応答時間(合計)916.20s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 250,676
- 出力トークン
- 13,511
- 推論トークン
- 315,400
- 応答時間(平均)
- 39.83s
- 応答時間(合計)
- 916.20s
- 応答時間(最大)
- 219.77s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)67.61s
応答時間(最大)67.61s
応答時間(合計)67.61s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.83s
応答時間(最大)8.75s
応答時間(合計)23.33s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)41.14s
応答時間(最大)51.03s
応答時間(合計)123.42s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)34.71s
応答時間(最大)50.45s
応答時間(合計)69.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.75s
応答時間(最大)12.36s
応答時間(合計)17.50s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)132.33s
応答時間(最大)219.77s
応答時間(合計)397.00s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.95s
応答時間(最大)7.95s
応答時間(合計)7.95s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.49s
応答時間(最大)11.42s
応答時間(合計)20.99s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.03s
応答時間(最大)61.30s
応答時間(合計)75.09s
-
ツール呼び出し
: 9.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.30s
応答時間(最大)28.30s
応答時間(合計)28.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.61s
応答時間(最大)85.61s
応答時間(合計)85.61s
|
| #65#65 |
ERNIE-Light-DT-1.0max
|
9.0… |
Baidu |
$4.353
…
|
103.37s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 4 無効なツール呼び出し: 1
応答時間(平均)103.37s
応答時間(最大)473.48s
応答時間(合計)2377.50s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 350,977
- 出力トークン
- 6,155
- 推論トークン
- 997,807
- 応答時間(平均)
- 103.37s
- 応答時間(合計)
- 2377.50s
- 応答時間(最大)
- 473.48s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)66.71s
応答時間(最大)66.71s
応答時間(合計)66.71s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.68s
応答時間(最大)4.08s
応答時間(合計)10.73s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)97.26s
応答時間(最大)114.04s
応答時間(合計)291.77s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)182.42s
応答時間(最大)349.50s
応答時間(合計)364.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.19s
応答時間(最大)6.57s
応答時間(合計)10.39s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)460.57s
応答時間(最大)473.48s
応答時間(合計)1381.70s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.03s
応答時間(最大)4.03s
応答時間(合計)4.03s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.47s
応答時間(最大)2.79s
応答時間(合計)4.95s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.95s
応答時間(最大)3.32s
応答時間(合計)8.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.43s
応答時間(最大)6.43s
応答時間(合計)6.43s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)227.09s
応答時間(最大)227.09s
応答時間(合計)227.09s
|
| #66#66 |
Gemini 3.5 Flash Litehigh
|
9.0… |
Google |
$0.624
…
|
11.92s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5
応答時間(平均)11.92s
応答時間(最大)53.09s
応答時間(合計)274.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 244,529
- 出力トークン
- 6,784
- 推論トークン
- 213,142
- 応答時間(平均)
- 11.92s
- 応答時間(合計)
- 274.14s
- 応答時間(最大)
- 53.09s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)53.09s
応答時間(最大)53.09s
応答時間(合計)53.09s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.96s
応答時間(最大)5.00s
応答時間(合計)11.83s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.58s
応答時間(最大)28.69s
応答時間(合計)49.74s
-
複合
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.90s
応答時間(最大)34.63s
応答時間(合計)55.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.17s
応答時間(最大)3.27s
応答時間(合計)6.35s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)23.14s
応答時間(最大)36.22s
応答時間(合計)69.43s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.10s
応答時間(最大)3.10s
応答時間(合計)3.10s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.16s
応答時間(最大)2.17s
応答時間(合計)4.31s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.09s
応答時間(最大)2.91s
応答時間(合計)6.26s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.55s
応答時間(最大)4.55s
応答時間(合計)4.55s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.68s
応答時間(最大)9.68s
応答時間(合計)9.68s
|
| #67#67 |
Gemini 4 Argonmedium
|
9.0… |
Google |
$0.674
…
|
6.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.63s
応答時間(最大)62.49s
応答時間(合計)152.50s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 215,326
- 出力トークン
- 6,668
- 推論トークン
- 17,615
- 応答時間(平均)
- 6.63s
- 応答時間(合計)
- 152.50s
- 応答時間(最大)
- 62.49s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.49s
応答時間(最大)62.49s
応答時間(合計)62.49s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.70s
応答時間(合計)9.17s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.86s
応答時間(最大)8.35s
応答時間(合計)14.59s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.06s
応答時間(最大)22.25s
応答時間(合計)30.12s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.39s
応答時間(最大)2.57s
応答時間(合計)4.77s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.44s
応答時間(最大)3.71s
応答時間(合計)7.33s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.40s
応答時間(最大)2.40s
応答時間(合計)2.40s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.71s
応答時間(最大)2.99s
応答時間(合計)5.42s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.10s
応答時間(最大)2.19s
応答時間(合計)6.29s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.01s
応答時間(最大)8.01s
応答時間(合計)8.01s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.91s
応答時間(最大)1.91s
応答時間(合計)1.91s
|
| #68#68 |
Gemini 4 Carbonlow
|
9.0… |
Google |
$0.391
…
|
11.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 無効なツール呼び出し: 1
応答時間(平均)11.01s
応答時間(最大)78.43s
応答時間(合計)253.17s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 88.4%
- 入力トークン
- 153,838
- 出力トークン
- 6,041
- 推論トークン
- 2,242
- 応答時間(平均)
- 11.01s
- 応答時間(合計)
- 253.17s
- 応答時間(最大)
- 78.43s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.43s
応答時間(最大)78.43s
応答時間(合計)78.43s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)7.91s
応答時間(合計)20.15s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.82s
応答時間(最大)10.13s
応答時間(合計)23.45s
-
複合
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)29.35s
応答時間(最大)43.41s
応答時間(合計)58.71s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.57s
応答時間(最大)6.46s
応答時間(合計)11.13s
-
ドメイン特化
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.79s
応答時間(最大)7.79s
応答時間(合計)14.36s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.27s
応答時間(最大)4.27s
応答時間(合計)4.27s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.84s
応答時間(最大)5.89s
応答時間(合計)9.68s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.12s
応答時間(最大)6.31s
応答時間(合計)15.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.64s
応答時間(最大)12.64s
応答時間(合計)12.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.99s
応答時間(最大)4.99s
応答時間(合計)4.99s
|
| #69#69 |
Claude Opus 5low
|
9.0… |
Anthropic |
$2.350
…
|
9.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)9.87s
応答時間(最大)73.15s
応答時間(合計)226.95s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 352,845
- 出力トークン
- 16,553
- 推論トークン
- 7,007
- 応答時間(平均)
- 9.87s
- 応答時間(合計)
- 226.95s
- 応答時間(最大)
- 73.15s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.15s
応答時間(最大)73.15s
応答時間(合計)73.15s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.32s
応答時間(最大)6.83s
応答時間(合計)17.28s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.70s
応答時間(最大)7.45s
応答時間(合計)20.10s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.05s
応答時間(最大)30.67s
応答時間(合計)42.11s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.69s
応答時間(最大)3.85s
応答時間(合計)7.38s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.91s
応答時間(最大)12.08s
応答時間(合計)26.73s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.76s
応答時間(最大)3.76s
応答時間(合計)3.76s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.13s
応答時間(最大)4.27s
応答時間(合計)8.26s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.23s
応答時間(最大)5.55s
応答時間(合計)12.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.03s
応答時間(最大)9.03s
応答時間(合計)9.03s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.48s
応答時間(最大)6.48s
応答時間(合計)6.48s
|
| #70#70 |
Gemini 3.6 Flashlow
|
9.0… |
Google |
$0.363
↓
…
|
6.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.82s
応答時間(最大)48.53s
応答時間(合計)156.81s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 89.9%
- 入力トークン
- 197,570
- 出力トークン
- 6,364
- 推論トークン
- 50,704
- 応答時間(平均)
- 6.82s
- 応答時間(合計)
- 156.81s
- 応答時間(最大)
- 48.53s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)48.53s
応答時間(最大)48.53s
応答時間(合計)48.53s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.85s
応答時間(最大)2.14s
応答時間(合計)7.39s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.95s
応答時間(最大)7.71s
応答時間(合計)20.84s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.82s
応答時間(最大)30.83s
応答時間(合計)39.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.66s
応答時間(最大)1.71s
応答時間(合計)3.33s
-
ドメイン特化
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.65s
応答時間(最大)5.23s
応答時間(合計)13.95s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.02s
応答時間(最大)3.02s
応答時間(合計)3.02s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.82s
応答時間(最大)3.06s
応答時間(合計)5.64s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.38s
応答時間(最大)2.65s
応答時間(合計)7.15s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.40s
応答時間(最大)4.40s
応答時間(合計)4.40s
-
雑学
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.94s
応答時間(最大)2.94s
応答時間(合計)2.94s
|
| #71#71 |
GLM 5.3 Flashmax
|
9.0… |
Z.ai |
$0.089
…
|
54.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)54.04s
応答時間(最大)333.47s
応答時間(合計)1242.97s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 82.6%
- 入力トークン
- 255,743
- 出力トークン
- 8,684
- 推論トークン
- 207,435
- 応答時間(平均)
- 54.04s
- 応答時間(合計)
- 1242.97s
- 応答時間(最大)
- 333.47s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)96.73s
応答時間(最大)96.73s
応答時間(合計)96.73s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.15s
応答時間(最大)8.80s
応答時間(合計)16.58s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.37s
応答時間(最大)50.63s
応答時間(合計)130.12s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)138.66s
応答時間(最大)224.68s
応答時間(合計)277.31s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.10s
応答時間(最大)6.18s
応答時間(合計)12.19s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)203.29s
応答時間(最大)333.47s
応答時間(合計)609.88s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.02s
応答時間(最大)10.02s
応答時間(合計)10.02s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.65s
応答時間(最大)3.72s
応答時間(合計)7.31s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.61s
応答時間(最大)7.20s
応答時間(合計)16.82s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.24s
応答時間(最大)19.24s
応答時間(合計)19.24s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)46.77s
応答時間(最大)46.77s
応答時間(合計)46.77s
|
| #72#72 |
Muse Spark Openlow
|
8.9… |
Meta |
$0.600
…
|
21.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)21.62s
応答時間(最大)119.16s
応答時間(合計)497.25s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 278,684
- 出力トークン
- 10,151
- 推論トークン
- 48,907
- 応答時間(平均)
- 21.62s
- 応答時間(合計)
- 497.25s
- 応答時間(最大)
- 119.16s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.04s
応答時間(最大)55.04s
応答時間(合計)55.04s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.50s
応答時間(最大)21.33s
応答時間(合計)41.98s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.97s
応答時間(最大)13.66s
応答時間(合計)29.92s
-
複合
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)32.84s
応答時間(最大)54.83s
応答時間(合計)65.68s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.53s
応答時間(最大)6.89s
応答時間(合計)9.05s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)75.55s
応答時間(最大)119.16s
応答時間(合計)226.64s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.85s
応答時間(最大)5.85s
応答時間(合計)5.85s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.26s
応答時間(最大)11.36s
応答時間(合計)20.51s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.99s
応答時間(最大)9.79s
応答時間(合計)23.98s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.37s
応答時間(最大)4.37s
応答時間(合計)4.37s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.23s
応答時間(最大)14.23s
応答時間(合計)14.23s
|
| #73#73 |
Muse Spark 1.2high
|
8.9… |
Meta |
$2.018
…
|
28.15s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)28.15s
応答時間(最大)192.00s
応答時間(合計)647.40s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 277,967
- 出力トークン
- 9,240
- 推論トークン
- 383,606
- 応答時間(平均)
- 28.15s
- 応答時間(合計)
- 647.40s
- 応答時間(最大)
- 192.00s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.51s
応答時間(最大)62.51s
応答時間(合計)62.51s
-
反AIトリック
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)6.00s
応答時間(最大)10.62s
応答時間(合計)23.99s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)22.24s
応答時間(最大)28.05s
応答時間(合計)66.72s
-
複合
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)39.89s
応答時間(最大)52.46s
応答時間(合計)79.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.93s
応答時間(最大)8.10s
応答時間(合計)13.85s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)108.85s
応答時間(最大)192.00s
応答時間(合計)326.56s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.93s
応答時間(最大)13.93s
応答時間(合計)13.93s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.43s
応答時間(最大)6.96s
応答時間(合計)10.86s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.07s
応答時間(最大)18.77s
応答時間(合計)30.22s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.99s
応答時間(最大)14.99s
応答時間(合計)14.99s
|
| #74#74 |
Muse Spark 1.2medium
|
8.9… |
Meta |
$1.590
…
|
21.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 3 不正解: 3 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)21.28s
応答時間(最大)142.49s
応答時間(合計)489.46s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 292,604
- 出力トークン
- 9,569
- 推論トークン
- 278,408
- 応答時間(平均)
- 21.28s
- 応答時間(合計)
- 489.46s
- 応答時間(最大)
- 142.49s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)56.74s
応答時間(最大)56.74s
応答時間(合計)56.74s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)5.38s
応答時間(最大)10.13s
応答時間(合計)21.51s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.49s
応答時間(最大)20.83s
応答時間(合計)52.46s
-
複合
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)24.89s
応答時間(最大)34.10s
応答時間(合計)49.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.42s
応答時間(最大)7.81s
応答時間(合計)12.83s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)77.22s
応答時間(最大)142.49s
応答時間(合計)231.67s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.67s
応答時間(最大)10.67s
応答時間(合計)10.67s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.40s
応答時間(最大)5.65s
応答時間(合計)8.79s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.45s
応答時間(最大)18.47s
応答時間(合計)28.34s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.89s
応答時間(最大)3.89s
応答時間(合計)3.89s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.79s
応答時間(最大)12.79s
応答時間(合計)12.79s
|
| #75#75 |
Muse Spark 1.1medium
|
8.9… |
Meta |
$1.665
…
|
27.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)27.02s
応答時間(最大)165.38s
応答時間(合計)621.38s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 305,707
- 出力トークン
- 10,240
- 推論トークン
- 291,479
- 応答時間(平均)
- 27.02s
- 応答時間(合計)
- 621.38s
- 応答時間(最大)
- 165.38s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.91s
応答時間(最大)43.91s
応答時間(合計)43.91s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.72s
応答時間(最大)13.09s
応答時間(合計)22.87s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.66s
応答時間(最大)19.49s
応答時間(合計)46.98s
-
複合
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)42.62s
応答時間(最大)58.91s
応答時間(合計)85.24s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.96s
応答時間(最大)5.75s
応答時間(合計)9.92s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)80.83s
応答時間(最大)165.38s
応答時間(合計)242.50s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.41s
応答時間(最大)4.41s
応答時間(合計)4.41s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.31s
応答時間(最大)7.84s
応答時間(合計)12.62s
-
パズル解決
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)42.49s
応答時間(最大)111.97s
応答時間(合計)127.48s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.99s
応答時間(最大)6.99s
応答時間(合計)6.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.45s
応答時間(最大)18.45s
応答時間(合計)18.45s
|