| #114#114 |
Claude Haiku 5.5max
|
8.5… |
Anthropic |
$0.509
…
|
61.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 3 不正解: 1
応答時間(平均)61.71s
応答時間(最大)288.94s
応答時間(合計)1419.40s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 487,516
- 出力トークン
- 10,212
- 推論トークン
- 909,487
- 応答時間(平均)
- 61.71s
- 応答時間(合計)
- 1419.40s
- 応答時間(最大)
- 288.94s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)93.30s
応答時間(最大)93.30s
応答時間(合計)93.30s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.52s
応答時間(最大)13.27s
応答時間(合計)22.09s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.87s
応答時間(最大)88.63s
応答時間(合計)167.62s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)148.38s
応答時間(最大)180.18s
応答時間(合計)296.76s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.11s
応答時間(最大)12.77s
応答時間(合計)22.23s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2
応答時間(平均)228.16s
応答時間(最大)288.94s
応答時間(合計)684.47s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.22s
応答時間(最大)42.22s
応答時間(合計)42.22s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.22s
応答時間(最大)7.54s
応答時間(合計)12.44s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.54s
応答時間(最大)33.66s
応答時間(合計)49.63s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.86s
応答時間(最大)9.86s
応答時間(合計)9.86s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)18.80s
応答時間(最大)18.80s
応答時間(合計)18.80s
|
| #113#113 |
Qwen3.7 Maxmedium
|
8.5… |
Qwen |
$1.689
↓
…
|
48.35s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 無効なツール呼び出し: 1
応答時間(平均)48.35s
応答時間(最大)556.06s
応答時間(合計)1112.11s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 367,848
- 出力トークン
- 8,753
- 推論トークン
- 250,279
- 応答時間(平均)
- 48.35s
- 応答時間(合計)
- 1112.11s
- 応答時間(最大)
- 556.06s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)137.00s
応答時間(最大)137.00s
応答時間(合計)137.00s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.36s
応答時間(最大)8.75s
応答時間(合計)25.44s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.31s
応答時間(最大)59.98s
応答時間(合計)105.93s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)287.83s
応答時間(最大)556.06s
応答時間(合計)575.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.80s
応答時間(最大)10.25s
応答時間(合計)17.60s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)52.45s
応答時間(最大)102.71s
応答時間(合計)157.35s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.70s
応答時間(最大)11.70s
応答時間(合計)11.70s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.46s
応答時間(最大)10.17s
応答時間(合計)14.92s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.84s
応答時間(最大)11.71s
応答時間(合計)26.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.63s
応答時間(最大)6.63s
応答時間(合計)6.63s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.37s
応答時間(最大)33.37s
応答時間(合計)33.37s
|
| #112#112 |
Claude Sonnet 5medium
|
8.5… |
Anthropic |
$1.438
…
|
15.01s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)15.01s
応答時間(最大)69.26s
応答時間(合計)345.16s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 353,658
- 出力トークン
- 54,891
- 推論トークン
- 18,370
- 応答時間(平均)
- 15.01s
- 応答時間(合計)
- 345.16s
- 応答時間(最大)
- 69.26s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)69.26s
応答時間(最大)69.26s
応答時間(合計)69.26s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.80s
応答時間(最大)5.73s
応答時間(合計)15.21s
-
コーディング
: 9.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.28s
応答時間(最大)31.73s
応答時間(合計)51.84s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)51.86s
応答時間(最大)66.71s
応答時間(合計)103.73s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.16s
応答時間(最大)3.47s
応答時間(合計)6.32s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)20.54s
応答時間(最大)56.94s
応答時間(合計)61.61s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.32s
応答時間(最大)4.32s
応答時間(合計)4.32s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.10s
応答時間(最大)3.61s
応答時間(合計)6.20s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.98s
応答時間(最大)3.20s
応答時間(合計)8.93s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.70s
応答時間(最大)10.70s
応答時間(合計)10.70s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.06s
応答時間(最大)7.06s
応答時間(合計)7.06s
|
| #111#111 |
Muse Spark 1.3low
|
8.5… |
Meta |
$0.911
…
|
17.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)17.73s
応答時間(最大)78.72s
応答時間(合計)407.75s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 82.6%
- 入力トークン
- 270,231
- 出力トークン
- 13,363
- 推論トークン
- 121,332
- 応答時間(平均)
- 17.73s
- 応答時間(合計)
- 407.75s
- 応答時間(最大)
- 78.72s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)55.06s
応答時間(最大)55.06s
応答時間(合計)55.06s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.92s
応答時間(最大)5.06s
応答時間(合計)15.66s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)20.86s
応答時間(最大)28.10s
応答時間(合計)62.58s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)25.72s
応答時間(最大)38.73s
応答時間(合計)51.44s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.62s
応答時間(最大)3.75s
応答時間(合計)7.23s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)45.63s
応答時間(最大)78.72s
応答時間(合計)136.89s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.02s
応答時間(最大)4.02s
応答時間(合計)4.02s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.70s
応答時間(合計)10.09s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.34s
応答時間(最大)25.48s
応答時間(合計)34.03s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.39s
応答時間(最大)7.39s
応答時間(合計)7.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.36s
応答時間(最大)23.36s
応答時間(合計)23.36s
|
| #110#110 |
Grok 4.6high
|
8.5… |
X AI |
$2.629
…
|
87.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)87.48s
応答時間(最大)618.49s
応答時間(合計)2012.15s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 82.6%
- 入力トークン
- 376,233
- 出力トークン
- 6,687
- 推論トークン
- 305,927
- 応答時間(平均)
- 87.48s
- 応答時間(合計)
- 2012.15s
- 応答時間(最大)
- 618.49s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)160.89s
応答時間(最大)160.89s
応答時間(合計)160.89s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.44s
応答時間(最大)29.43s
応答時間(合計)57.78s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)102.20s
応答時間(最大)134.17s
応答時間(合計)306.59s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)91.77s
応答時間(最大)121.80s
応答時間(合計)183.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.08s
応答時間(最大)16.15s
応答時間(合計)32.17s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)369.95s
応答時間(最大)618.49s
応答時間(合計)1109.84s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.51s
応答時間(最大)19.51s
応答時間(合計)19.51s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.82s
応答時間(最大)14.84s
応答時間(合計)27.65s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.56s
応答時間(最大)20.27s
応答時間(合計)46.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.30s
応答時間(最大)13.30s
応答時間(合計)13.30s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)54.22s
応答時間(最大)54.22s
応答時間(合計)54.22s
|
| #109#109 |
Muse Embermedium
|
8.5… |
Meta |
$0.190
…
|
12.39s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 1
応答時間(平均)12.39s
応答時間(最大)75.32s
応答時間(合計)285.08s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 274,381
- 出力トークン
- 12,835
- 推論トークン
- 312,022
- 応答時間(平均)
- 12.39s
- 応答時間(合計)
- 285.08s
- 応答時間(最大)
- 75.32s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)47.20s
応答時間(最大)47.20s
応答時間(合計)47.20s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.38s
応答時間(最大)3.69s
応答時間(合計)9.52s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.94s
応答時間(最大)10.37s
応答時間(合計)20.83s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.77s
応答時間(最大)12.25s
応答時間(合計)19.54s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.39s
応答時間(最大)3.79s
応答時間(合計)6.78s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)35.64s
応答時間(最大)75.32s
応答時間(合計)106.91s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.37s
応答時間(最大)3.37s
応答時間(合計)3.37s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.38s
応答時間(最大)5.33s
応答時間(合計)6.76s
-
パズル解決
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)16.70s
応答時間(最大)41.95s
応答時間(合計)50.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.09s
応答時間(最大)4.09s
応答時間(合計)4.09s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.98s
応答時間(最大)9.98s
応答時間(合計)9.98s
|
| #108#108 |
Particle-1medium
|
8.6… |
Particle AI |
$0.217
…
|
32.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2
応答時間(平均)32.30s
応答時間(最大)276.96s
応答時間(合計)742.97s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 73.9%
- 入力トークン
- 263,837
- 出力トークン
- 7,443
- 推論トークン
- 399,022
- 応答時間(平均)
- 32.30s
- 応答時間(合計)
- 742.97s
- 応答時間(最大)
- 276.96s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)47.94s
応答時間(最大)47.94s
応答時間(合計)47.94s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.43s
応答時間(最大)3.27s
応答時間(合計)9.70s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)64.92s
応答時間(最大)136.73s
応答時間(合計)194.76s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.06s
応答時間(最大)35.74s
応答時間(合計)42.11s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.19s
応答時間(最大)2.77s
応答時間(合計)4.39s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)134.14s
応答時間(最大)276.96s
応答時間(合計)402.43s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.21s
応答時間(最大)3.21s
応答時間(合計)3.21s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.49s
応答時間(最大)1.51s
応答時間(合計)2.97s
-
パズル解決
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.18s
応答時間(最大)9.29s
応答時間(合計)15.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.06s
応答時間(最大)4.06s
応答時間(合計)4.06s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.86s
応答時間(最大)15.86s
応答時間(合計)15.86s
|
| #107#107 |
Qwen3.8 Max (0902)low
|
8.6… |
Qwen |
$1.131
…
|
29.07s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 無効なツール呼び出し: 1
応答時間(平均)29.07s
応答時間(最大)207.79s
応答時間(合計)668.66s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 298,682
- 出力トークン
- 8,374
- 推論トークン
- 80,549
- 応答時間(平均)
- 29.07s
- 応答時間(合計)
- 668.66s
- 応答時間(最大)
- 207.79s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)136.04s
応答時間(最大)136.04s
応答時間(合計)136.04s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.72s
応答時間(最大)7.30s
応答時間(合計)18.89s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.42s
応答時間(最大)61.54s
応答時間(合計)112.27s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)113.88s
応答時間(最大)207.79s
応答時間(合計)227.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.94s
応答時間(最大)10.24s
応答時間(合計)19.88s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)34.93s
応答時間(最大)46.54s
応答時間(合計)104.79s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.91s
応答時間(最大)8.91s
応答時間(合計)8.91s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.32s
応答時間(最大)5.28s
応答時間(合計)8.63s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.49s
応答時間(最大)6.25s
応答時間(合計)13.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.73s
応答時間(最大)4.73s
応答時間(合計)4.73s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.28s
応答時間(最大)13.28s
応答時間(合計)13.28s
|
| #106#106 |
Claude Haiku 5.5low
|
8.6… |
Anthropic |
$0.061
…
|
7.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)7.51s
応答時間(最大)44.43s
応答時間(合計)172.74s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 76.8%
- 入力トークン
- 296,301
- 出力トークン
- 10,672
- 推論トークン
- 50,978
- 応答時間(平均)
- 7.51s
- 応答時間(合計)
- 172.74s
- 応答時間(最大)
- 44.43s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.43s
応答時間(最大)44.43s
応答時間(合計)44.43s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.16s
応答時間(最大)3.03s
応答時間(合計)8.62s
-
コーディング
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.30s
応答時間(最大)8.92s
応答時間(合計)21.89s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.94s
応答時間(最大)27.39s
応答時間(合計)47.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.45s
応答時間(最大)3.70s
応答時間(合計)6.89s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)7.35s
応答時間(最大)7.77s
応答時間(合計)22.06s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.38s
応答時間(最大)1.38s
応答時間(合計)1.38s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.20s
応答時間(最大)3.24s
応答時間(合計)4.40s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.76s
応答時間(最大)3.28s
応答時間(合計)8.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.19s
応答時間(最大)4.19s
応答時間(合計)4.19s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)2.70s
応答時間(最大)2.70s
応答時間(合計)2.70s
|
| #105#105 |
Qwen4 Maxhigh
|
8.6… |
Qwen |
$1.363
…
|
52.90s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 回答なし: 1
応答時間(平均)52.90s
応答時間(最大)437.98s
応答時間(合計)1216.62s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 85.5%
- 入力トークン
- 350,854
- 出力トークン
- 8,427
- 推論トークン
- 177,417
- 応答時間(平均)
- 52.90s
- 応答時間(合計)
- 1216.62s
- 応答時間(最大)
- 437.98s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)228.78s
応答時間(最大)228.78s
応答時間(合計)228.78s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.42s
応答時間(最大)4.83s
応答時間(合計)13.67s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.68s
応答時間(最大)16.60s
応答時間(合計)47.05s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)46.52s
応答時間(最大)80.07s
応答時間(合計)93.03s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.88s
応答時間(最大)5.03s
応答時間(合計)7.77s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)239.42s
応答時間(最大)437.98s
応答時間(合計)718.25s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.78s
応答時間(最大)4.78s
応答時間(合計)4.78s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.02s
応答時間(最大)3.54s
応答時間(合計)6.04s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.51s
応答時間(最大)4.52s
応答時間(合計)10.53s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.99s
応答時間(最大)6.99s
応答時間(合計)6.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)79.73s
応答時間(最大)79.73s
応答時間(合計)79.73s
|
| #104#104 |
Claude Sonnet 5.5high
|
8.6… |
Anthropic |
$1.175
…
|
10.79s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)10.79s
応答時間(最大)51.53s
応答時間(合計)248.22s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 81.2%
- 入力トークン
- 345,687
- 出力トークン
- 13,550
- 推論トークン
- 34,743
- 応答時間(平均)
- 10.79s
- 応答時間(合計)
- 248.22s
- 応答時間(最大)
- 51.53s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)51.53s
応答時間(最大)51.53s
応答時間(合計)51.53s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.69s
応答時間(最大)5.27s
応答時間(合計)14.74s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.85s
応答時間(最大)11.12s
応答時間(合計)29.55s
-
複合
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)24.57s
応答時間(最大)25.71s
応答時間(合計)49.15s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)3.86s
応答時間(最大)6.13s
応答時間(合計)7.72s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.52s
応答時間(最大)20.97s
応答時間(合計)52.55s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.93s
応答時間(最大)6.93s
応答時間(合計)6.93s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.13s
応答時間(最大)5.35s
応答時間(合計)10.26s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)4.64s
応答時間(合計)10.63s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.22s
応答時間(最大)5.22s
応答時間(合計)5.22s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.93s
応答時間(最大)9.93s
応答時間(合計)9.93s
|
| #101#101 |
Muse Spark 1.1low
|
8.6… |
Meta |
$0.885
…
|
13.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)13.21s
応答時間(最大)54.15s
応答時間(合計)303.92s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 291,368
- 出力トークン
- 13,469
- 推論トークン
- 108,952
- 応答時間(平均)
- 13.21s
- 応答時間(合計)
- 303.92s
- 応答時間(最大)
- 54.15s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.23s
応答時間(最大)42.23s
応答時間(合計)42.23s
-
反AIトリック
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.36s
応答時間(最大)8.92s
応答時間(合計)17.45s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.34s
応答時間(最大)12.60s
応答時間(合計)31.02s
-
複合
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)29.45s
応答時間(最大)39.63s
応答時間(合計)58.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.22s
応答時間(最大)3.93s
応答時間(合計)6.45s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)32.99s
応答時間(最大)54.15s
応答時間(合計)98.96s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.12s
応答時間(最大)4.12s
応答時間(合計)4.12s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.42s
応答時間(最大)6.23s
応答時間(合計)10.85s
-
パズル解決
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.60s
応答時間(最大)11.77s
応答時間(合計)19.81s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.98s
応答時間(最大)5.98s
応答時間(合計)5.98s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.17s
応答時間(最大)8.17s
応答時間(合計)8.17s
|
| #102#102 |
Claude Sonnet 5.5xhighアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
8.6… |
Anthropic |
$1.516
…
|
14.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)14.98s
応答時間(最大)54.92s
応答時間(合計)344.60s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 342,579
- 出力トークン
- 12,848
- 推論トークン
- 70,193
- 応答時間(平均)
- 14.98s
- 応答時間(合計)
- 344.60s
- 応答時間(最大)
- 54.92s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)54.92s
応答時間(最大)54.92s
応答時間(合計)54.92s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.21s
応答時間(最大)5.12s
応答時間(合計)16.83s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)11.90s
応答時間(最大)15.48s
応答時間(合計)35.70s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)30.37s
応答時間(最大)37.90s
応答時間(合計)60.75s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.96s
応答時間(最大)6.16s
応答時間(合計)9.92s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.33s
応答時間(最大)54.91s
応答時間(合計)106.00s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.10s
応答時間(最大)9.10s
応答時間(合計)9.10s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.58s
応答時間(最大)4.79s
応答時間(合計)9.15s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.88s
応答時間(最大)5.32s
応答時間(合計)14.63s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.29s
応答時間(最大)10.29s
応答時間(合計)10.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)17.31s
応答時間(最大)17.31s
応答時間(合計)17.31s
|
| #103#103 |
Claude Fable 5.2low
|
8.6… |
Anthropic |
$3.471
…
|
9.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)9.28s
応答時間(最大)49.92s
応答時間(合計)213.39s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 300,393
- 出力トークン
- 11,011
- 推論トークン
- 15,668
- 応答時間(平均)
- 9.28s
- 応答時間(合計)
- 213.39s
- 応答時間(最大)
- 49.92s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.92s
応答時間(最大)49.92s
応答時間(合計)49.92s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.98s
応答時間(最大)3.78s
応答時間(合計)11.93s
-
コーディング
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1
応答時間(平均)6.83s
応答時間(最大)8.24s
応答時間(合計)20.50s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.45s
応答時間(最大)27.24s
応答時間(合計)38.90s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.14s
応答時間(合計)8.00s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)14.20s
応答時間(最大)17.76s
応答時間(合計)42.59s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.39s
応答時間(最大)4.39s
応答時間(合計)4.39s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.59s
応答時間(合計)6.69s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.87s
応答時間(最大)4.70s
応答時間(合計)11.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.96s
応答時間(最大)11.96s
応答時間(合計)11.96s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.89s
応答時間(最大)6.89s
応答時間(合計)6.89s
|
| #100#100 |
GPT-6.1 Terranone
|
8.6… |
OpenAI |
$0.184
…
|
4.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5
応答時間(平均)4.08s
応答時間(最大)40.32s
応答時間(合計)93.75s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 84.1%
- 入力トークン
- 159,129
- 出力トークン
- 4,906
- 推論トークン
- 0
- 応答時間(平均)
- 4.08s
- 応答時間(合計)
- 93.75s
- 応答時間(最大)
- 40.32s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.32s
応答時間(最大)40.32s
応答時間(合計)40.32s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.45s
応答時間(最大)1.65s
応答時間(合計)5.79s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.86s
応答時間(最大)2.63s
応答時間(合計)5.57s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.01s
応答時間(最大)12.96s
応答時間(合計)18.02s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.85s
応答時間(最大)1.97s
応答時間(合計)3.71s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.53s
応答時間(最大)1.90s
応答時間(合計)4.58s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.39s
応答時間(最大)1.39s
応答時間(合計)1.39s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.45s
応答時間(合計)2.87s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.51s
応答時間(最大)1.90s
応答時間(合計)4.54s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.91s
応答時間(最大)4.91s
応答時間(合計)4.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.06s
応答時間(最大)2.06s
応答時間(合計)2.06s
|
| #99#99 |
DeepSeek V4.1 Flashmax
|
8.6… |
DeepSeek |
$1.204
↑
…
|
61.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 1 指示に従っていない: 1
応答時間(平均)61.58s
応答時間(最大)335.08s
応答時間(合計)1416.24s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 414,054
- 出力トークン
- 7,635
- 推論トークン
- 900,536
- 応答時間(平均)
- 61.58s
- 応答時間(合計)
- 1416.24s
- 応答時間(最大)
- 335.08s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)66.63s
応答時間(最大)66.63s
応答時間(合計)66.63s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.35s
応答時間(最大)11.86s
応答時間(合計)17.41s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.50s
応答時間(最大)80.58s
応答時間(合計)187.50s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)160.31s
応答時間(最大)164.09s
応答時間(合計)320.63s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)4.56s
応答時間(最大)8.91s
応答時間(合計)9.12s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)198.41s
応答時間(最大)335.08s
応答時間(合計)595.23s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.64s
応答時間(最大)11.30s
応答時間(合計)15.29s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)30.82s
応答時間(最大)73.06s
応答時間(合計)92.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.49s
応答時間(最大)9.49s
応答時間(合計)9.49s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)98.48s
応答時間(最大)98.48s
応答時間(合計)98.48s
|
| #98#98 |
ERNIE-Light-DT-1.0high
|
8.6… |
Baidu |
$1.027
…
|
25.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 1 回答なし: 1
応答時間(平均)25.66s
応答時間(最大)200.80s
応答時間(合計)590.18s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 75.4%
- 入力トークン
- 230,563
- 出力トークン
- 6,576
- 推論トークン
- 187,898
- 応答時間(平均)
- 25.66s
- 応答時間(合計)
- 590.18s
- 応答時間(最大)
- 200.80s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)52.84s
応答時間(最大)52.84s
応答時間(合計)52.84s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)2.10s
応答時間(合計)7.55s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.96s
応答時間(最大)23.42s
応答時間(合計)44.89s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)27.93s
応答時間(最大)48.23s
応答時間(合計)55.85s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.72s
応答時間(最大)1.80s
応答時間(合計)3.43s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)134.82s
応答時間(最大)200.80s
応答時間(合計)404.47s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.02s
応答時間(最大)2.02s
応答時間(合計)2.02s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.04s
応答時間(最大)2.05s
応答時間(合計)4.08s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.16s
応答時間(最大)3.08s
応答時間(合計)6.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.33s
応答時間(最大)4.33s
応答時間(合計)4.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.23s
応答時間(最大)4.23s
応答時間(合計)4.23s
|
| #96#96 |
Muse Emberlow
|
8.6… |
Meta |
$0.114
…
|
8.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 1 回答なし: 1
応答時間(平均)8.22s
応答時間(最大)49.79s
応答時間(合計)189.12s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 288,136
- 出力トークン
- 13,507
- 推論トークン
- 155,719
- 応答時間(平均)
- 8.22s
- 応答時間(合計)
- 189.12s
- 応答時間(最大)
- 49.79s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.79s
応答時間(最大)49.79s
応答時間(合計)49.79s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.86s
応答時間(最大)4.29s
応答時間(合計)11.43s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.21s
応答時間(最大)7.13s
応答時間(合計)15.62s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)15.23s
応答時間(最大)25.12s
応答時間(合計)30.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.15s
応答時間(最大)2.51s
応答時間(合計)4.30s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)8.96s
応答時間(最大)10.79s
応答時間(合計)26.89s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.68s
応答時間(最大)2.68s
応答時間(合計)2.68s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.87s
応答時間(最大)4.54s
応答時間(合計)5.75s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.80s
応答時間(最大)9.28s
応答時間(合計)14.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.29s
応答時間(最大)3.29s
応答時間(合計)3.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.54s
応答時間(最大)24.54s
応答時間(合計)24.54s
|
| #97#97 |
Muse Embermax
|
8.6… |
Meta |
$0.346
…
|
19.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 回答なし: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)19.05s
応答時間(最大)79.28s
応答時間(合計)438.15s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 8
- 試行ごとの合格率
- 72.5%
- 入力トークン
- 265,489
- 出力トークン
- 12,179
- 推論トークン
- 625,640
- 応答時間(平均)
- 19.05s
- 応答時間(合計)
- 438.15s
- 応答時間(最大)
- 79.28s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)44.84s
応答時間(最大)44.84s
応答時間(合計)44.84s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.20s
応答時間(最大)5.23s
応答時間(合計)12.79s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.46s
応答時間(最大)15.19s
応答時間(合計)37.37s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)20.27s
応答時間(最大)32.51s
応答時間(合計)40.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)6.95s
応答時間(合計)10.14s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)54.31s
応答時間(最大)79.28s
応答時間(合計)162.92s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.35s
応答時間(最大)3.35s
応答時間(合計)3.35s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.85s
応答時間(最大)5.90s
応答時間(合計)7.69s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)29.41s
応答時間(最大)78.68s
応答時間(合計)88.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.57s
応答時間(最大)4.57s
応答時間(合計)4.57s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.72s
応答時間(最大)25.72s
応答時間(合計)25.72s
|
| #95#95 |
Claude Fable 5.2high
|
8.7… |
Anthropic |
$5.083
…
|
14.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)14.73s
応答時間(最大)84.72s
応答時間(合計)338.82s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 4
- 試行ごとの合格率
- 87.0%
- 入力トークン
- 319,219
- 出力トークン
- 10,244
- 推論トークン
- 52,982
- 応答時間(平均)
- 14.73s
- 応答時間(合計)
- 338.82s
- 応答時間(最大)
- 84.72s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)56.30s
応答時間(最大)56.30s
応答時間(合計)56.30s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.77s
応答時間(最大)4.99s
応答時間(合計)15.09s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.21s
応答時間(最大)9.20s
応答時間(合計)24.62s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.95s
応答時間(最大)44.03s
応答時間(合計)59.91s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.68s
応答時間(最大)5.36s
応答時間(合計)9.37s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)41.00s
応答時間(最大)84.72s
応答時間(合計)123.00s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)5.07s
応答時間(合計)5.07s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.61s
応答時間(合計)10.08s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.81s
応答時間(最大)4.90s
応答時間(合計)11.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.71s
応答時間(最大)16.71s
応答時間(合計)16.71s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.23s
応答時間(最大)7.23s
応答時間(合計)7.23s
|
| #94#94 |
Qwen4 Maxlow
|
8.7… |
Qwen |
$1.064
…
|
56.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1 不正解: 1
応答時間(平均)56.68s
応答時間(最大)564.77s
応答時間(合計)1303.63s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 3
- 試行ごとの合格率
- 87.0%
- 入力トークン
- 276,790
- 出力トークン
- 8,266
- 推論トークン
- 135,803
- 応答時間(平均)
- 56.68s
- 応答時間(合計)
- 1303.63s
- 応答時間(最大)
- 564.77s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)165.83s
応答時間(最大)165.83s
応答時間(合計)165.83s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.45s
応答時間(最大)5.75s
応答時間(合計)13.80s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.29s
応答時間(最大)16.89s
応答時間(合計)45.86s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)38.34s
応答時間(最大)64.85s
応答時間(合計)76.67s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.77s
応答時間(最大)4.33s
応答時間(合計)7.53s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)314.59s
応答時間(最大)564.77s
応答時間(合計)943.78s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.32s
応答時間(最大)4.32s
応答時間(合計)4.32s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.07s
応答時間(最大)3.50s
応答時間(合計)6.13s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.80s
応答時間(最大)4.53s
応答時間(合計)11.41s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.72s
応答時間(最大)6.72s
応答時間(合計)6.72s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)21.58s
応答時間(最大)21.58s
応答時間(合計)21.58s
|
| #93#93 |
GPT-6 Sollow
|
8.7… |
OpenAI |
$0.477
…
|
8.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5
応答時間(平均)8.72s
応答時間(最大)48.43s
応答時間(合計)200.61s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 5
- 試行ごとの合格率
- 87.0%
- 入力トークン
- 172,359
- 出力トークン
- 5,026
- 推論トークン
- 8,185
- 応答時間(平均)
- 8.72s
- 応答時間(合計)
- 200.61s
- 応答時間(最大)
- 48.43s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)48.43s
応答時間(最大)48.43s
応答時間(合計)48.43s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)3.18s
応答時間(合計)9.74s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.74s
応答時間(最大)16.82s
応答時間(合計)26.23s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.13s
応答時間(最大)9.76s
応答時間(合計)16.26s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.63s
応答時間(最大)14.86s
応答時間(合計)27.26s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)11.45s
応答時間(最大)16.44s
応答時間(合計)34.36s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.91s
応答時間(最大)17.91s
応答時間(合計)17.91s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.37s
応答時間(最大)2.57s
応答時間(合計)4.75s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.66s
応答時間(最大)3.06s
応答時間(合計)7.97s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.03s
応答時間(最大)4.03s
応答時間(合計)4.03s
-
雑学
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.67s
応答時間(最大)3.67s
応答時間(合計)3.67s
|
| #92#92 |
Seed 2.1 Turbomedium
|
8.7… |
Bytedance Seed |
$2.042
…
|
189.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 1 回答なし: 1
応答時間(平均)189.13s
応答時間(最大)885.33s
応答時間(合計)4349.92s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 7
- 試行ごとの合格率
- 79.7%
- 入力トークン
- 234,572
- 出力トークン
- 8,019
- 推論トークン
- 761,563
- 応答時間(平均)
- 189.13s
- 応答時間(合計)
- 4349.92s
- 応答時間(最大)
- 885.33s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)90.94s
応答時間(最大)90.94s
応答時間(合計)90.94s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.25s
応答時間(最大)38.70s
応答時間(合計)113.00s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)354.87s
応答時間(最大)449.66s
応答時間(合計)1064.62s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)400.28s
応答時間(最大)406.56s
応答時間(合計)800.55s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.82s
応答時間(最大)50.79s
応答時間(合計)75.65s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)656.04s
応答時間(最大)885.33s
応答時間(合計)1968.13s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)40.59s
応答時間(最大)40.59s
応答時間(合計)40.59s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.48s
応答時間(最大)9.84s
応答時間(合計)14.96s
-
パズル解決
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.01s
応答時間(最大)31.49s
応答時間(合計)63.03s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.46s
応答時間(最大)27.46s
応答時間(合計)27.46s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)91.00s
応答時間(最大)91.00s
応答時間(合計)91.00s
|
| #91#91 |
MiMo-V2.6-Promedium
|
8.7… |
Xiaomi |
$0.586
…
|
148.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 3 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)148.11s
応答時間(最大)904.91s
応答時間(合計)3406.53s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 9
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 298,476
- 出力トークン
- 7,762
- 推論トークン
- 515,918
- 応答時間(平均)
- 148.11s
- 応答時間(合計)
- 3406.53s
- 応答時間(最大)
- 904.91s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)161.45s
応答時間(最大)161.45s
応答時間(合計)161.45s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)2.76s
応答時間(最大)4.92s
応答時間(合計)11.02s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)150.44s
応答時間(最大)390.15s
応答時間(合計)451.33s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)50.80s
応答時間(最大)77.07s
応答時間(合計)101.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.71s
応答時間(最大)3.20s
応答時間(合計)5.41s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)619.70s
応答時間(最大)904.91s
応答時間(合計)1859.09s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.70s
応答時間(最大)5.70s
応答時間(合計)5.70s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.79s
応答時間(最大)1.80s
応答時間(合計)3.59s
-
パズル解決
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.20s
応答時間(最大)266.38s
応答時間(合計)276.61s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.60s
応答時間(最大)3.60s
応答時間(合計)3.60s
-
雑学
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)527.13s
応答時間(最大)527.13s
応答時間(合計)527.13s
|
| #90#90 |
Qwen3.8 27Bhigh候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
|
8.7… |
Qwen |
~$0.298
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
|
166.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 回答なし: 2 不正解: 2
応答時間(平均)166.34s
応答時間(最大)640.85s
応答時間(合計)3825.81s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 6
- 試行ごとの合格率
- 78.3%
- 入力トークン
- 348,967
- 出力トークン
- 1,005
- 推論トークン
- 676,075
- 応答時間(平均)
- 166.34s
- 応答時間(合計)
- 3825.81s
- 応答時間(最大)
- 640.85s
-
エージェントタスク
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)132.27s
応答時間(最大)132.27s
応答時間(合計)132.27s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.10s
応答時間(最大)21.48s
応答時間(合計)32.40s
-
コーディング
: 8.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)248.62s
応答時間(最大)458.25s
応答時間(合計)745.85s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)185.57s
応答時間(最大)333.21s
応答時間(合計)371.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.85s
応答時間(最大)57.71s
応答時間(合計)69.71s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)526.74s
応答時間(最大)640.85s
応答時間(合計)1580.21s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.45s
応答時間(最大)8.45s
応答時間(合計)8.45s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.24s
応答時間(最大)10.18s
応答時間(合計)16.49s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)199.90s
応答時間(最大)569.33s
応答時間(合計)599.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.62s
応答時間(最大)5.62s
応答時間(合計)5.62s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)263.98s
応答時間(最大)263.98s
応答時間(合計)263.98s
|