| #189#189 |
Seed-2.0-Minimedium
|
7.5… |
Bytedance Seed |
$0.140
…
|
91.67s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)91.67s
応答時間(最大)301.78s
応答時間(合計)1833.43s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 59.4%
- 入力トークン
- 313,368
- 出力トークン
- 12,289
- 推論トークン
- 259,270
- 応答時間(平均)
- 91.67s
- 応答時間(合計)
- 1833.43s
- 応答時間(最大)
- 301.78s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)64.52s
応答時間(最大)64.52s
応答時間(合計)64.52s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)103.41s
応答時間(最大)103.41s
応答時間(合計)103.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #188#188 |
GLM 5.1medium
|
7.5… |
Z.ai |
$1.546
↑
…
|
66.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 タイムアウト: 2 API エラー: 1 余分な書式: 1 回答なし: 1
応答時間(平均)66.38s
応答時間(最大)308.75s
応答時間(合計)1460.31s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 331,577
- 出力トークン
- 17,919
- 推論トークン
- 230,789
- 応答時間(平均)
- 66.38s
- 応答時間(合計)
- 1460.31s
- 応答時間(最大)
- 308.75s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)225.59s
応答時間(最大)225.59s
応答時間(合計)225.59s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)109.63s
応答時間(最大)172.60s
応答時間(合計)328.90s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)175.93s
応答時間(最大)308.75s
応答時間(合計)351.86s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1 不正解: 1
応答時間(平均)113.95s
応答時間(最大)280.46s
応答時間(合計)341.86s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.64s
応答時間(最大)46.04s
応答時間(合計)94.91s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.40s
応答時間(最大)29.40s
応答時間(合計)29.40s
|
| #187#187 |
Space Bunny Alphahigh
|
7.5… |
Stealth |
$0.000
…
|
29.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10
応答時間(平均)29.38s
応答時間(最大)234.56s
応答時間(合計)675.79s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 302,228
- 出力トークン
- 181,271
- 推論トークン
- 0
- 応答時間(平均)
- 29.38s
- 応答時間(合計)
- 675.79s
- 応答時間(最大)
- 234.56s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)73.43s
応答時間(最大)73.43s
応答時間(合計)73.43s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.48s
応答時間(最大)7.38s
応答時間(合計)13.91s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.29s
応答時間(最大)10.90s
応答時間(合計)24.86s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)19.30s
応答時間(最大)33.65s
応答時間(合計)38.60s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.91s
応答時間(最大)2.40s
応答時間(合計)3.82s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)85.05s
応答時間(最大)133.95s
応答時間(合計)255.16s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.75s
応答時間(最大)4.75s
応答時間(合計)4.75s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.04s
応答時間(最大)2.33s
応答時間(合計)4.08s
-
パズル解決
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.43s
応答時間(最大)14.39s
応答時間(合計)19.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.34s
応答時間(最大)3.34s
応答時間(合計)3.34s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)234.56s
応答時間(最大)234.56s
応答時間(合計)234.56s
|
| #185#185 |
GPT-6 Lunalow
|
7.6… |
OpenAI |
$0.033
…
|
23.23s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 API エラー: 2 指示に従っていない: 1 回答なし: 1
応答時間(平均)23.23s
応答時間(最大)89.37s
応答時間(合計)534.22s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.8%
- 入力トークン
- 195,928
- 出力トークン
- 5,728
- 推論トークン
- 19,152
- 応答時間(平均)
- 23.23s
- 応答時間(合計)
- 534.22s
- 応答時間(最大)
- 89.37s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.03s
応答時間(最大)51.03s
応答時間(合計)51.03s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)11.00s
応答時間(最大)21.96s
応答時間(合計)44.00s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)15.39s
応答時間(最大)23.64s
応答時間(合計)46.16s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)49.77s
応答時間(最大)89.37s
応答時間(合計)99.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.94s
応答時間(最大)17.89s
応答時間(合計)19.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.09s
応答時間(最大)27.87s
応答時間(合計)54.28s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
-
指示追従
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)17.38s
応答時間(最大)17.50s
応答時間(合計)34.76s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)27.45s
応答時間(最大)30.30s
応答時間(合計)82.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)71.65s
応答時間(最大)71.65s
応答時間(合計)71.65s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)29.10s
応答時間(最大)29.10s
応答時間(合計)29.10s
|
| #186#186 |
Qwen3.8 27Blow候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
|
7.6… |
Qwen |
~$0.089
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.8932 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.088310.
|
46.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 2 指示に従っていない: 1
応答時間(平均)46.60s
応答時間(最大)376.04s
応答時間(合計)1071.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 315,290
- 出力トークン
- 1,607
- 推論トークン
- 207,536
- 応答時間(平均)
- 46.60s
- 応答時間(合計)
- 1071.83s
- 応答時間(最大)
- 376.04s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)211.32s
応答時間(最大)211.32s
応答時間(合計)211.32s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.02s
応答時間(最大)5.68s
応答時間(合計)12.07s
-
コーディング
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)140.92s
応答時間(最大)376.04s
応答時間(合計)422.75s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.63s
応答時間(最大)143.71s
応答時間(合計)181.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.03s
応答時間(最大)9.09s
応答時間(合計)16.06s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)60.78s
応答時間(最大)120.94s
応答時間(合計)182.34s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.87s
応答時間(合計)4.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.91s
応答時間(最大)8.81s
応答時間(合計)14.74s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.42s
応答時間(最大)8.42s
応答時間(合計)8.42s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)12.64s
応答時間(最大)12.64s
応答時間(合計)12.64s
|
| #184#184 |
Qwen3.8 Flash Nextmedium候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8-flash-next-iq3_s · IQ3_S · Strata 0.1.39 · NVIDIA GeForce RTX 3090.
|
7.6… |
Qwen |
~$0.047
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.4752 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.046984.
|
24.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 回答なし: 1
応答時間(平均)24.79s
応答時間(最大)159.62s
応答時間(合計)570.26s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 278,792
- 出力トークン
- 1,695
- 推論トークン
- 142,270
- 応答時間(平均)
- 24.79s
- 応答時間(合計)
- 570.26s
- 応答時間(最大)
- 159.62s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)159.62s
応答時間(最大)159.62s
応答時間(合計)159.62s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.81s
応答時間(最大)2.74s
応答時間(合計)7.24s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)45.53s
応答時間(最大)98.91s
応答時間(合計)136.59s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.72s
応答時間(最大)116.08s
応答時間(合計)153.43s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.65s
応答時間(最大)7.50s
応答時間(合計)13.31s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.29s
応答時間(最大)18.55s
応答時間(合計)51.86s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.04s
応答時間(最大)2.85s
応答時間(合計)4.09s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.23s
応答時間(最大)2.98s
応答時間(合計)6.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.75s
応答時間(最大)5.75s
応答時間(合計)5.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.39s
応答時間(最大)24.39s
応答時間(合計)24.39s
|
| #183#183 |
Muse Wonderxhigh
|
7.7… |
Meta |
$4.012
…
|
34.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 3
応答時間(平均)34.40s
応答時間(最大)236.64s
応答時間(合計)791.16s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 93,060
- 出力トークン
- 10,305
- 推論トークン
- 171,683
- 応答時間(平均)
- 34.40s
- 応答時間(合計)
- 791.16s
- 応答時間(最大)
- 236.64s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)525ms
応答時間(最大)525ms
応答時間(合計)525ms
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.04s
応答時間(最大)13.58s
応答時間(合計)24.14s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.90s
応答時間(最大)52.61s
応答時間(合計)122.71s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.45s
応答時間(最大)55.44s
応答時間(合計)102.90s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.90s
応答時間(最大)9.31s
応答時間(合計)13.80s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)150.71s
応答時間(最大)236.64s
応答時間(合計)452.14s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.77s
応答時間(最大)5.77s
応答時間(合計)5.77s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)2.64s
応答時間(最大)4.79s
応答時間(合計)5.27s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)3.53s
応答時間(最大)9.25s
応答時間(合計)10.58s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.97s
応答時間(最大)27.97s
応答時間(合計)27.97s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.37s
応答時間(最大)25.37s
応答時間(合計)25.37s
|
| #182#182 |
Muse Glimmer 30Bmedium
|
7.7… |
Meta |
$0.288
↓
…
|
33.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1 回答なし: 1
応答時間(平均)33.97s
応答時間(最大)181.08s
応答時間(合計)781.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 269,497
- 出力トークン
- 34,935
- 推論トークン
- 145,752
- 応答時間(平均)
- 33.97s
- 応答時間(合計)
- 781.36s
- 応答時間(最大)
- 181.08s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)107.36s
応答時間(最大)107.36s
応答時間(合計)107.36s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.36s
応答時間(最大)12.64s
応答時間(合計)29.44s
-
コーディング
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.67s
応答時間(最大)43.94s
応答時間(合計)101.00s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)76.48s
応答時間(最大)106.02s
応答時間(合計)152.97s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.20s
応答時間(最大)9.97s
応答時間(合計)14.40s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)44.62s
応答時間(最大)102.94s
応答時間(合計)133.85s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.34s
応答時間(最大)6.25s
応答時間(合計)10.69s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)64.73s
応答時間(最大)181.08s
応答時間(合計)194.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.64s
応答時間(最大)5.64s
応答時間(合計)5.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)26.69s
応答時間(最大)26.69s
応答時間(合計)26.69s
|
| #181#181 |
Qwen3.7 Flashlow
|
7.7… |
Qwen |
$0.071
↑
…
|
41.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 API エラー: 1
応答時間(平均)41.03s
応答時間(最大)394.54s
応答時間(合計)943.75s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 318,058
- 出力トークン
- 16,035
- 推論トークン
- 315,072
- 応答時間(平均)
- 41.03s
- 応答時間(合計)
- 943.75s
- 応答時間(最大)
- 394.54s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)106.71s
応答時間(最大)106.71s
応答時間(合計)106.71s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.29s
応答時間(最大)17.58s
応答時間(合計)41.18s
-
コーディング
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)42.36s
応答時間(最大)61.83s
応答時間(合計)127.09s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)217.77s
応答時間(最大)394.54s
応答時間(合計)435.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.44s
応答時間(最大)17.97s
応答時間(合計)30.88s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)37.60s
応答時間(最大)49.39s
応答時間(合計)112.81s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.37s
応答時間(最大)14.37s
応答時間(合計)14.37s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.88s
応答時間(最大)11.25s
応答時間(合計)19.75s
-
パズル解決
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)9.79s
応答時間(最大)14.36s
応答時間(合計)29.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.66s
応答時間(最大)7.66s
応答時間(合計)7.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)18.42s
応答時間(最大)18.42s
応答時間(合計)18.42s
|
| #180#180 |
Qwen3.5 Plus 2026-04-20medium
|
7.7… |
Qwen |
$0.435
↓
…
|
54.06s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 タイムアウト: 1
応答時間(平均)54.06s
応答時間(最大)203.01s
応答時間(合計)1189.36s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 176,539
- 出力トークン
- 4,419
- 推論トークン
- 195,929
- 応答時間(平均)
- 54.06s
- 応答時間(合計)
- 1189.36s
- 応答時間(最大)
- 203.01s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)203.01s
応答時間(最大)203.01s
応答時間(合計)203.01s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.84s
応答時間(最大)15.11s
応答時間(合計)43.36s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)125.25s
応答時間(最大)189.38s
応答時間(合計)375.76s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)92.41s
応答時間(最大)92.41s
応答時間(合計)92.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.32s
応答時間(最大)41.70s
応答時間(合計)76.63s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)57.36s
応答時間(最大)90.70s
応答時間(合計)172.08s
-
汎用知能
: 4.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.30s
応答時間(最大)25.30s
応答時間(合計)25.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.25s
応答時間(最大)21.65s
応答時間(合計)40.50s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.67s
応答時間(最大)24.83s
応答時間(合計)53.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)14.72s
応答時間(合計)14.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.57s
応答時間(最大)92.57s
応答時間(合計)92.57s
|
| #179#179 |
Claude Haiku 5.5medium
|
7.7… |
Anthropic |
$0.063
…
|
7.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)7.71s
応答時間(最大)47.70s
応答時間(合計)177.29s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 298,334
- 出力トークン
- 10,328
- 推論トークン
- 55,846
- 応答時間(平均)
- 7.71s
- 応答時間(合計)
- 177.29s
- 応答時間(最大)
- 47.70s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)47.70s
応答時間(最大)47.70s
応答時間(合計)47.70s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.39s
応答時間(合計)9.44s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.16s
応答時間(最大)8.94s
応答時間(合計)21.47s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)20.29s
応答時間(最大)26.07s
応答時間(合計)40.58s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.43s
応答時間(最大)3.56s
応答時間(合計)6.87s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)7.96s
応答時間(最大)9.19s
応答時間(合計)23.89s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.17s
応答時間(最大)5.17s
応答時間(合計)5.17s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.01s
応答時間(最大)3.29s
応答時間(合計)6.02s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.67s
応答時間(最大)3.28s
応答時間(合計)8.01s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.02s
応答時間(最大)5.02s
応答時間(合計)5.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)3.12s
応答時間(最大)3.12s
応答時間(合計)3.12s
|
| #178#178 |
Nemotron 3.5 Super VLmedium
|
7.7… |
NVIDIA |
$0.437
…
|
84.94s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 3 API エラー: 1 指示に従っていない: 1
応答時間(平均)84.94s
応答時間(最大)527.47s
応答時間(合計)1953.70s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 269,143
- 出力トークン
- 6,833
- 推論トークン
- 785,200
- 応答時間(平均)
- 84.94s
- 応答時間(合計)
- 1953.70s
- 応答時間(最大)
- 527.47s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)113.57s
応答時間(最大)113.57s
応答時間(合計)113.57s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.94s
応答時間(最大)13.09s
応答時間(合計)23.78s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)278.59s
応答時間(最大)527.47s
応答時間(合計)835.78s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)112.20s
応答時間(最大)162.41s
応答時間(合計)224.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.69s
応答時間(最大)7.91s
応答時間(合計)13.38s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)196.68s
応答時間(最大)270.29s
応答時間(合計)590.03s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.72s
応答時間(最大)12.72s
応答時間(合計)12.72s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.34s
応答時間(最大)4.66s
応答時間(合計)8.68s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.82s
応答時間(最大)28.85s
応答時間(合計)35.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.33s
応答時間(最大)36.33s
応答時間(合計)36.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)59.55s
応答時間(最大)59.55s
応答時間(合計)59.55s
|
| #177#177 |
Muse Glimmer 30Bhigh
|
7.7… |
Meta |
$0.506
↓
…
|
69.87s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 3 回答なし: 2
応答時間(平均)69.87s
応答時間(最大)451.90s
応答時間(合計)1607.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 12
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 281,859
- 出力トークン
- 102,526
- 推論トークン
- 286,217
- 応答時間(平均)
- 69.87s
- 応答時間(合計)
- 1607.12s
- 応答時間(最大)
- 451.90s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)139.73s
応答時間(最大)139.73s
応答時間(合計)139.73s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.18s
応答時間(最大)27.66s
応答時間(合計)52.71s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)95.97s
応答時間(最大)127.91s
応答時間(合計)287.92s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)115.38s
応答時間(最大)161.28s
応答時間(合計)230.76s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.89s
応答時間(最大)16.84s
応答時間(合計)29.77s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)182.58s
応答時間(最大)451.90s
応答時間(合計)547.75s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.36s
応答時間(最大)6.36s
応答時間(合計)6.36s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.62s
応答時間(最大)8.74s
応答時間(合計)17.23s
-
パズル解決
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)64.76s
応答時間(最大)173.50s
応答時間(合計)194.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.41s
応答時間(最大)6.41s
応答時間(合計)6.41s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)94.20s
応答時間(最大)94.20s
応答時間(合計)94.20s
|
| #176#176 |
GPT-6 Lunahigh
|
7.7… |
OpenAI |
$0.074
…
|
20.37s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)20.37s
応答時間(最大)106.93s
応答時間(合計)468.52s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 229,986
- 出力トークン
- 6,037
- 推論トークン
- 95,550
- 応答時間(平均)
- 20.37s
- 応答時間(合計)
- 468.52s
- 応答時間(最大)
- 106.93s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)82.78s
応答時間(最大)82.78s
応答時間(合計)82.78s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.64s
応答時間(最大)3.26s
応答時間(合計)10.56s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.69s
応答時間(最大)33.57s
応答時間(合計)74.07s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.53s
応答時間(最大)28.77s
応答時間(合計)43.07s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.50s
応答時間(最大)27.15s
応答時間(合計)48.99s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)51.14s
応答時間(最大)106.93s
応答時間(合計)153.41s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.40s
応答時間(最大)17.40s
応答時間(合計)17.40s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.92s
応答時間(最大)2.04s
応答時間(合計)3.84s
-
パズル解決
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.51s
応答時間(最大)13.60s
応答時間(合計)22.53s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.96s
応答時間(最大)6.96s
応答時間(合計)6.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.90s
応答時間(最大)4.90s
応答時間(合計)4.90s
|
| #175#175 |
Muse Wonderhigh
|
7.7… |
Meta |
$3.426
…
|
22.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 2
応答時間(平均)22.96s
応答時間(最大)143.21s
応答時間(合計)528.08s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 94,153
- 出力トークン
- 9,606
- 推論トークン
- 142,834
- 応答時間(平均)
- 22.96s
- 応答時間(合計)
- 528.08s
- 応答時間(最大)
- 143.21s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)461ms
応答時間(最大)461ms
応答時間(合計)461ms
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)5.93s
応答時間(最大)11.89s
応答時間(合計)23.71s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.94s
応答時間(最大)49.30s
応答時間(合計)110.81s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.90s
応答時間(最大)45.19s
応答時間(合計)69.81s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.09s
応答時間(最大)8.39s
応答時間(合計)14.18s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)78.62s
応答時間(最大)143.21s
応答時間(合計)235.86s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.52s
応答時間(最大)5.52s
応答時間(合計)5.52s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.97s
応答時間(最大)3.43s
応答時間(合計)3.93s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)3.78s
応答時間(最大)10.03s
応答時間(合計)11.34s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.70s
応答時間(最大)23.70s
応答時間(合計)23.70s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.77s
応答時間(最大)28.77s
応答時間(合計)28.77s
|
| #174#174 |
DeepSeek V4 Flash 0731medium
|
7.8… |
DeepSeek |
$0.460
↑
…
|
94.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 3 余分な書式: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)94.16s
応答時間(最大)303.26s
応答時間(合計)2165.72s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 11
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 274,189
- 出力トークン
- 66,689
- 推論トークン
- 510,525
- 応答時間(平均)
- 94.16s
- 応答時間(合計)
- 2165.72s
- 応答時間(最大)
- 303.26s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)303.26s
応答時間(最大)303.26s
応答時間(合計)303.26s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.95s
応答時間(最大)46.36s
応答時間(合計)71.81s
-
コーディング
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)198.78s
応答時間(最大)288.78s
応答時間(合計)596.34s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)150.58s
応答時間(最大)270.49s
応答時間(合計)301.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.21s
応答時間(最大)5.51s
応答時間(合計)10.43s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)203.11s
応答時間(最大)208.43s
応答時間(合計)609.33s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.16s
応答時間(最大)12.16s
応答時間(合計)12.16s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.42s
応答時間(最大)2.86s
応答時間(合計)4.84s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)65.12s
応答時間(最大)182.97s
応答時間(合計)195.36s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.41s
応答時間(最大)4.41s
応答時間(合計)4.41s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)56.64s
応答時間(最大)56.64s
応答時間(合計)56.64s
|
| #173#173 |
Grok 4.5low
|
7.8… |
X AI |
$1.345
…
|
18.14s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7
応答時間(平均)18.14s
応答時間(最大)205.28s
応答時間(合計)417.21s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 308,068
- 出力トークン
- 9,218
- 推論トークン
- 112,197
- 応答時間(平均)
- 18.14s
- 応答時間(合計)
- 417.21s
- 応答時間(最大)
- 205.28s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.53s
応答時間(最大)61.53s
応答時間(合計)61.53s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)3.42s
応答時間(合計)10.99s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.72s
応答時間(最大)17.72s
応答時間(合計)41.16s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.75s
応答時間(最大)17.34s
応答時間(合計)25.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.44s
応答時間(最大)3.78s
応答時間(合計)6.88s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)77.09s
応答時間(最大)205.28s
応答時間(合計)231.27s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.88s
応答時間(最大)4.88s
応答時間(合計)4.88s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.80s
応答時間(最大)2.84s
応答時間(合計)5.59s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.20s
応答時間(最大)5.51s
応答時間(合計)9.59s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.83s
応答時間(最大)5.83s
応答時間(合計)5.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.98s
応答時間(最大)13.98s
応答時間(合計)13.98s
|
| #172#172 |
Qwen3.7 Plusnone
|
7.8… |
Qwen |
$0.178
↓
…
|
17.80s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 1
応答時間(平均)17.80s
応答時間(最大)206.03s
応答時間(合計)409.51s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 56.5%
- 入力トークン
- 250,495
- 出力トークン
- 76,261
- 推論トークン
- 0
- 応答時間(平均)
- 17.80s
- 応答時間(合計)
- 409.51s
- 応答時間(最大)
- 206.03s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)143.11s
応答時間(最大)143.11s
応答時間(合計)143.11s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.38s
応答時間(最大)2.69s
応答時間(合計)5.51s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.15s
応答時間(最大)4.39s
応答時間(合計)6.44s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)117.70s
応答時間(最大)206.03s
応答時間(合計)235.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.57s
応答時間(合計)2.86s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.04s
応答時間(最大)1.33s
応答時間(合計)3.12s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.33s
応答時間(最大)1.33s
応答時間(合計)1.33s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)929ms
応答時間(最大)1.05s
応答時間(合計)1.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.71s
応答時間(最大)2.65s
応答時間(合計)5.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.21s
応答時間(最大)1.21s
応答時間(合計)1.21s
|
| #171#171 |
Grok 4.6medium
|
7.8… |
X AI |
$2.270
…
|
74.77s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1
応答時間(平均)74.77s
応答時間(最大)514.35s
応答時間(合計)1719.73s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 336,351
- 出力トークン
- 6,180
- 推論トークン
- 260,017
- 応答時間(平均)
- 74.77s
- 応答時間(合計)
- 1719.73s
- 応答時間(最大)
- 514.35s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)103.61s
応答時間(最大)103.61s
応答時間(合計)103.61s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.84s
応答時間(最大)16.03s
応答時間(合計)43.37s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)120.05s
応答時間(最大)183.47s
応答時間(合計)360.14s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.66s
応答時間(最大)80.72s
応答時間(合計)125.33s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.46s
応答時間(最大)12.31s
応答時間(合計)22.92s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)304.33s
応答時間(最大)514.35s
応答時間(合計)912.98s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.27s
応答時間(最大)17.27s
応答時間(合計)17.27s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.75s
応答時間(最大)17.51s
応答時間(合計)25.51s
-
パズル解決
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.30s
応答時間(最大)22.22s
応答時間(合計)48.89s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.83s
応答時間(最大)12.83s
応答時間(合計)12.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)46.88s
応答時間(最大)46.88s
応答時間(合計)46.88s
|
| #170#170 |
Step 3.7 Flashmedium
|
7.8… |
Stepfun |
$0.571
…
|
26.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)26.57s
応答時間(最大)152.83s
応答時間(合計)611.09s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 68.1%
- 入力トークン
- 319,524
- 出力トークン
- 440,835
- 推論トークン
- 0
- 応答時間(平均)
- 26.57s
- 応答時間(合計)
- 611.09s
- 応答時間(最大)
- 152.83s
-
エージェントタスク
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)93.88s
応答時間(最大)93.88s
応答時間(合計)93.88s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.65s
応答時間(最大)35.08s
応答時間(合計)38.62s
-
コーディング
: 8.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)27.42s
応答時間(最大)60.98s
応答時間(合計)82.26s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)80.94s
応答時間(最大)152.83s
応答時間(合計)161.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)3.35s
応答時間(合計)5.49s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)27.26s
応答時間(最大)34.06s
応答時間(合計)81.77s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.85s
応答時間(最大)6.85s
応答時間(合計)6.85s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.83s
応答時間(最大)2.21s
応答時間(合計)3.65s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.19s
応答時間(最大)12.51s
応答時間(合計)18.56s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.16s
応答時間(最大)4.16s
応答時間(合計)4.16s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)113.98s
応答時間(最大)113.98s
応答時間(合計)113.98s
|
| #169#169 |
GLM 5.3high
|
7.8… |
Z.ai |
$0.495
↓
…
|
28.38s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 余分な書式: 2 指示に従っていない: 1
応答時間(平均)28.38s
応答時間(最大)159.91s
応答時間(合計)652.78s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 219,811
- 出力トークン
- 8,811
- 推論トークン
- 59,671
- 応答時間(平均)
- 28.38s
- 応答時間(合計)
- 652.78s
- 応答時間(最大)
- 159.91s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.72s
応答時間(最大)40.72s
応答時間(合計)40.72s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.72s
応答時間(最大)4.84s
応答時間(合計)14.88s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.89s
応答時間(最大)26.76s
応答時間(合計)56.66s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)63.96s
応答時間(最大)97.74s
応答時間(合計)127.92s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.55s
応答時間(最大)4.03s
応答時間(合計)7.10s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)112.33s
応答時間(最大)159.91s
応答時間(合計)337.00s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.00s
応答時間(最大)8.00s
応答時間(合計)8.00s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.62s
応答時間(最大)3.66s
応答時間(合計)7.24s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.74s
応答時間(最大)5.81s
応答時間(合計)14.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.05s
応答時間(最大)17.05s
応答時間(合計)17.05s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.98s
応答時間(最大)21.98s
応答時間(合計)21.98s
|
| #168#168 |
Grok 4.5medium
|
7.8… |
X AI |
$2.996
↑
…
|
68.44s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6
応答時間(平均)68.44s
応答時間(最大)436.38s
応答時間(合計)1574.14s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 308,369
- 出力トークン
- 7,013
- 推論トークン
- 299,031
- 応答時間(平均)
- 68.44s
- 応答時間(合計)
- 1574.14s
- 応答時間(最大)
- 436.38s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)65.24s
応答時間(最大)65.24s
応答時間(合計)65.24s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.50s
応答時間(最大)47.78s
応答時間(合計)93.99s
-
コーディング
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)155.69s
応答時間(最大)305.49s
応答時間(合計)467.06s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.01s
応答時間(最大)42.36s
応答時間(合計)58.01s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.29s
応答時間(最大)6.68s
応答時間(合計)12.58s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)249.34s
応答時間(最大)436.38s
応答時間(合計)748.02s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.84s
応答時間(最大)12.84s
応答時間(合計)12.84s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.06s
応答時間(最大)7.94s
応答時間(合計)12.12s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.75s
応答時間(最大)12.42s
応答時間(合計)23.26s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.57s
応答時間(最大)6.57s
応答時間(合計)6.57s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)74.44s
応答時間(最大)74.44s
応答時間(合計)74.44s
|
| #167#167 |
DeepSeek V4.1 Flash 1017high
|
7.8… |
DeepSeek |
$0.589
…
|
58.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 回答なし: 3 指示に従っていない: 2
応答時間(平均)58.56s
応答時間(最大)440.77s
応答時間(合計)1346.87s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 10
- 試行ごとの合格率
- 71.0%
- 入力トークン
- 279,873
- 出力トークン
- 7,049
- 推論トークン
- 904,285
- 応答時間(平均)
- 58.56s
- 応答時間(合計)
- 1346.87s
- 応答時間(最大)
- 440.77s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.53s
応答時間(最大)43.53s
応答時間(合計)43.53s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.10s
応答時間(最大)3.35s
応答時間(合計)8.39s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 指示に従っていない: 1
応答時間(平均)196.67s
応答時間(最大)241.99s
応答時間(合計)590.01s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.28s
応答時間(最大)71.21s
応答時間(合計)74.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.20s
応答時間(最大)2.32s
応答時間(合計)4.40s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)186.02s
応答時間(最大)440.77s
応答時間(合計)558.07s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.02s
応答時間(最大)2.02s
応答時間(合計)2.02s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.12s
応答時間(最大)1.14s
応答時間(合計)2.25s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.70s
応答時間(最大)13.84s
応答時間(合計)17.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.26s
応答時間(最大)44.26s
応答時間(合計)44.26s
|
| #166#166 |
Ling 3.1 Flashhigh
|
7.9… |
Inclusionai |
$0.000
…
|
87.39s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 4 不正解: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)87.39s
応答時間(最大)665.85s
応答時間(合計)2010.08s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 324,691
- 出力トークン
- 181,251
- 推論トークン
- 506,441
- 応答時間(平均)
- 87.39s
- 応答時間(合計)
- 2010.08s
- 応答時間(最大)
- 665.85s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)87.42s
応答時間(最大)87.42s
応答時間(合計)87.42s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.44s
応答時間(最大)7.00s
応答時間(合計)17.76s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)83.41s
応答時間(最大)149.10s
応答時間(合計)250.23s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)351.19s
応答時間(最大)665.85s
応答時間(合計)702.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.38s
応答時間(最大)25.54s
応答時間(合計)34.77s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3
応答時間(平均)222.88s
応答時間(最大)293.88s
応答時間(合計)668.65s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.82s
応答時間(最大)7.82s
応答時間(合計)7.82s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.31s
応答時間(最大)5.40s
応答時間(合計)8.61s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.46s
応答時間(最大)103.89s
応答時間(合計)112.37s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)38.25s
応答時間(最大)38.25s
応答時間(合計)38.25s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)81.83s
応答時間(最大)81.83s
応答時間(合計)81.83s
|
| #165#165 |
Muse Wondermax
|
7.9… |
Meta |
$4.766
…
|
44.39s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 2 指示に従っていない: 1
応答時間(平均)44.39s
応答時間(最大)287.79s
応答時間(合計)1021.02s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 93,126
- 出力トークン
- 10,497
- 推論トークン
- 209,138
- 応答時間(平均)
- 44.39s
- 応答時間(合計)
- 1021.02s
- 応答時間(最大)
- 287.79s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)381ms
応答時間(最大)381ms
応答時間(合計)381ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.00s
応答時間(最大)11.34s
応答時間(合計)27.99s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)58.38s
応答時間(最大)68.45s
応答時間(合計)175.15s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.60s
応答時間(最大)78.52s
応答時間(合計)125.21s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)9.53s
応答時間(合計)14.80s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)189.55s
応答時間(最大)287.79s
応答時間(合計)568.65s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.06s
応答時間(最大)6.06s
応答時間(合計)6.06s
-
指示追従
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.24s
応答時間(最大)23.29s
応答時間(合計)26.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)8.97s
応答時間(最大)14.45s
応答時間(合計)26.92s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.08s
応答時間(最大)8.08s
応答時間(合計)8.08s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)41.30s
応答時間(最大)41.30s
応答時間(合計)41.30s
|