| #389#389 |
Inkling Smalllow
|
5.2… |
Thinkingmachines |
$0.055
↓
…
|
1.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 2 無効なツール呼び出し: 2 API エラー: 1
応答時間(平均)1.99s
応答時間(最大)5.82s
応答時間(合計)45.67s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 47.8%
- 入力トークン
- 81,447
- 出力トークン
- 2,715
- 推論トークン
- 11,971
- 応答時間(平均)
- 1.99s
- 応答時間(合計)
- 45.67s
- 応答時間(最大)
- 5.82s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)24ms
応答時間(最大)24ms
応答時間(合計)24ms
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.81s
応答時間(最大)3.73s
応答時間(合計)7.25s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.70s
応答時間(最大)5.82s
応答時間(合計)11.10s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)4.08s
応答時間(最大)4.59s
応答時間(合計)8.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.25s
応答時間(最大)1.32s
応答時間(合計)2.50s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)852ms
応答時間(最大)918ms
応答時間(合計)2.56s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.42s
応答時間(最大)1.42s
応答時間(合計)1.42s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)2.18s
応答時間(合計)3.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.56s
応答時間(最大)2.38s
応答時間(合計)4.68s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)2.21s
応答時間(最大)2.21s
応答時間(合計)2.21s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.00s
応答時間(最大)2.00s
応答時間(合計)2.00s
|
| #388#388 |
Qwen3.6 35B A3Bnone
|
5.3… |
Qwen |
$0.105
↑
…
|
8.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 2 指示に従っていない: 2 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)8.43s
応答時間(最大)65.61s
応答時間(合計)176.93s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 19
- 試行ごとの合格率
- 29.0%
- 入力トークン
- 272,479
- 出力トークン
- 40,677
- 推論トークン
- 23,104
- 応答時間(平均)
- 8.43s
- 応答時間(合計)
- 176.93s
- 応答時間(最大)
- 65.61s
-
エージェントタスク
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)65.61s
応答時間(最大)65.61s
応答時間(合計)65.61s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.10s
応答時間(最大)6.15s
応答時間(合計)8.41s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.77s
応答時間(最大)22.52s
応答時間(合計)26.32s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)39.54s
応答時間(最大)39.54s
応答時間(合計)39.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)2.03s
応答時間(合計)2.93s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.76s
応答時間(最大)12.46s
応答時間(合計)23.27s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.51s
応答時間(最大)3.51s
応答時間(合計)3.51s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.86s
応答時間(最大)2.83s
応答時間(合計)3.73s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.24s
応答時間(合計)3.20s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)414ms
応答時間(最大)414ms
応答時間(合計)414ms
|
| #387#387 |
Laguna XS 2.1none
|
5.3… |
Poolside |
$0.020
…
|
4.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 無効なツール呼び出し: 2 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)4.56s
応答時間(最大)70.79s
応答時間(合計)104.80s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 29.0%
- 入力トークン
- 270,072
- 出力トークン
- 23,173
- 推論トークン
- 0
- 応答時間(平均)
- 4.56s
- 応答時間(合計)
- 104.80s
- 応答時間(最大)
- 70.79s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)70.79s
応答時間(最大)70.79s
応答時間(合計)70.79s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)755ms
応答時間(最大)2.30s
応答時間(合計)3.02s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)623ms
応答時間(最大)1.34s
応答時間(合計)1.87s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)10.39s
応答時間(最大)19.02s
応答時間(合計)20.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)768ms
応答時間(最大)824ms
応答時間(合計)1.54s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)303ms
応答時間(最大)379ms
応答時間(合計)910ms
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)529ms
応答時間(最大)529ms
応答時間(合計)529ms
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)364ms
応答時間(最大)373ms
応答時間(合計)728ms
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)1.92s
応答時間(合計)3.02s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.36s
応答時間(最大)1.36s
応答時間(合計)1.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)254ms
応答時間(最大)254ms
応答時間(合計)254ms
|
| #386#386 |
Qwen3.6 Max Previewnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.3… |
Qwen |
$0.228
↓
…
|
7.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11
応答時間(平均)7.82s
応答時間(最大)102.62s
応答時間(合計)172.04s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 53.6%
- 入力トークン
- 106,348
- 出力トークン
- 19,257
- 推論トークン
- 0
- 応答時間(平均)
- 7.82s
- 応答時間(合計)
- 172.04s
- 応答時間(最大)
- 102.62s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.63s
応答時間(最大)5.57s
応答時間(合計)10.53s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.12s
応答時間(最大)3.45s
応答時間(合計)9.35s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)61.56s
応答時間(最大)102.62s
応答時間(合計)123.12s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.87s
応答時間(最大)3.54s
応答時間(合計)5.74s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.23s
応答時間(最大)1.27s
応答時間(合計)3.70s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.62s
応答時間(最大)1.62s
応答時間(合計)1.62s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.46s
応答時間(合計)2.79s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.65s
応答時間(最大)3.59s
応答時間(合計)7.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.27s
応答時間(最大)5.27s
応答時間(合計)5.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.97s
応答時間(最大)1.97s
応答時間(合計)1.97s
|
| #385#385 |
Ling 3.2 Flashnone
|
5.3… |
Inclusionai |
$0.000
…
|
106.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 7 不正解: 6 回答なし: 2 指示に従っていない: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)106.63s
応答時間(最大)952.17s
応答時間(合計)2452.59s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 23.2%
- 入力トークン
- 311,998
- 出力トークン
- 77,048
- 推論トークン
- 0
- 応答時間(平均)
- 106.63s
- 応答時間(合計)
- 2452.59s
- 応答時間(最大)
- 952.17s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)139.16s
応答時間(最大)139.16s
応答時間(合計)139.16s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 1
応答時間(平均)16.73s
応答時間(最大)28.06s
応答時間(合計)66.94s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)42.05s
応答時間(最大)82.25s
応答時間(合計)126.15s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)157.97s
応答時間(最大)217.07s
応答時間(合計)315.94s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.35s
応答時間(最大)5.95s
応答時間(合計)8.69s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)525.47s
応答時間(最大)952.17s
応答時間(合計)1576.40s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.50s
応答時間(最大)4.50s
応答時間(合計)4.50s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)11.16s
応答時間(最大)14.03s
応答時間(合計)22.32s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)9.61s
応答時間(最大)13.61s
応答時間(合計)28.84s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)45.74s
応答時間(最大)45.74s
応答時間(合計)45.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)117.92s
応答時間(最大)117.92s
応答時間(合計)117.92s
|
| #384#384 |
Kimi K2.5none
|
5.3… |
Moonshot AI |
$0.262
↑
…
|
35.86s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 17 回答なし: 1
応答時間(平均)35.86s
応答時間(最大)321.19s
応答時間(合計)609.61s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 29.0%
- 入力トークン
- 275,349
- 出力トークン
- 49,377
- 推論トークン
- 12
- 応答時間(平均)
- 35.86s
- 応答時間(合計)
- 609.61s
- 応答時間(最大)
- 321.19s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)321.19s
応答時間(最大)321.19s
応答時間(合計)321.19s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)6.24s
応答時間(最大)11.38s
応答時間(合計)12.48s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)24.56s
応答時間(最大)38.78s
応答時間(合計)73.69s
-
複合
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)61.00s
応答時間(最大)102.83s
応答時間(合計)121.99s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)42.13s
応答時間(最大)42.13s
応答時間(合計)42.13s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.75s
応答時間(最大)4.38s
応答時間(合計)5.49s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.00s
応答時間(最大)4.00s
応答時間(合計)4.00s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.67s
応答時間(最大)2.67s
応答時間(合計)2.67s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.04s
応答時間(最大)7.81s
応答時間(合計)8.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.99s
応答時間(最大)13.99s
応答時間(合計)13.99s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)3.90s
応答時間(合計)3.90s
|
| #383#383 |
Granite 4.2 8Blow
|
5.3… |
IBM Granite |
$0.036
…
|
58.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 タイムアウト: 3 指示に従っていない: 1 回答なし: 1
応答時間(平均)58.20s
応答時間(最大)566.80s
応答時間(合計)1338.65s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 332,917
- 出力トークン
- 18,989
- 推論トークン
- 42,362
- 応答時間(平均)
- 58.20s
- 応答時間(合計)
- 1338.65s
- 応答時間(最大)
- 566.80s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)142.68s
応答時間(最大)142.68s
応答時間(合計)142.68s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)11.68s
応答時間(最大)40.72s
応答時間(合計)46.73s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)13.01s
応答時間(最大)27.71s
応答時間(合計)39.04s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)298.21s
応答時間(最大)566.80s
応答時間(合計)596.42s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.39s
応答時間(最大)2.27s
応答時間(合計)2.78s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)26.16s
応答時間(最大)77.41s
応答時間(合計)78.47s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)659ms
応答時間(最大)659ms
応答時間(合計)659ms
-
指示追従
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)75.80s
応答時間(最大)150.25s
応答時間(合計)151.60s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)90.84s
応答時間(最大)169.53s
応答時間(合計)272.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.23s
応答時間(最大)2.23s
応答時間(合計)2.23s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.53s
応答時間(最大)5.53s
応答時間(合計)5.53s
|
| #382#382 |
GPT-5.6 Lunanone
|
5.3… |
OpenAI |
$0.042
↓
…
|
3.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)3.78s
応答時間(最大)53.77s
応答時間(合計)86.83s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 34.8%
- 入力トークン
- 230,744
- 出力トークン
- 8,000
- 推論トークン
- 0
- 応答時間(平均)
- 3.78s
- 応答時間(合計)
- 86.83s
- 応答時間(最大)
- 53.77s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)53.77s
応答時間(最大)53.77s
応答時間(合計)53.77s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)901ms
応答時間(最大)1.45s
応答時間(合計)3.60s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)980ms
応答時間(最大)1.57s
応答時間(合計)2.94s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)6.68s
応答時間(最大)10.57s
応答時間(合計)13.35s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)758ms
応答時間(最大)803ms
応答時間(合計)1.52s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)784ms
応答時間(最大)855ms
応答時間(合計)2.35s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.00s
応答時間(最大)1.00s
応答時間(合計)1.00s
-
指示追従
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.23s
応答時間(最大)1.66s
応答時間(合計)2.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)790ms
応答時間(最大)865ms
応答時間(合計)2.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.80s
応答時間(最大)2.80s
応答時間(合計)2.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)651ms
応答時間(最大)651ms
応答時間(合計)651ms
|
| #381#381 |
Hy3 previewmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.3… |
Tencent |
$0.049
↕
…
|
16.28s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 3 不正解: 3 指示に従っていない: 1
応答時間(平均)16.28s
応答時間(最大)46.04s
応答時間(合計)293.12s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 7
- 試行ごとの合格率
- 60.9%
- 入力トークン
- 27,030
- 出力トークン
- 73,544
- 推論トークン
- 0
- 応答時間(平均)
- 16.28s
- 応答時間(合計)
- 293.12s
- 応答時間(最大)
- 46.04s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.59s
応答時間(最大)10.20s
応答時間(合計)26.37s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)31.37s
応答時間(最大)31.37s
応答時間(合計)31.37s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)46.04s
応答時間(最大)46.04s
応答時間(合計)46.04s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)5.25s
応答時間(最大)5.25s
応答時間(合計)5.25s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.30s
応答時間(最大)30.51s
応答時間(合計)66.90s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.84s
応答時間(最大)16.84s
応答時間(合計)16.84s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.16s
応答時間(最大)7.72s
応答時間(合計)12.31s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)11.06s
応答時間(最大)14.35s
応答時間(合計)33.17s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.02s
応答時間(最大)15.02s
応答時間(合計)15.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)39.86s
応答時間(最大)39.86s
応答時間(合計)39.86s
|
| #380#380 |
Ember-1none
|
5.4… |
Fireworks |
$0.786
…
|
22.65s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 5
応答時間(平均)22.65s
応答時間(最大)93.12s
応答時間(合計)520.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.5%
- 入力トークン
- 202,617
- 出力トークン
- 11,832
- 推論トークン
- 0
- 応答時間(平均)
- 22.65s
- 応答時間(合計)
- 520.91s
- 応答時間(最大)
- 93.12s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)92.87s
応答時間(最大)92.87s
応答時間(合計)92.87s
-
反AIトリック
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)22.37s
応答時間(最大)65.56s
応答時間(合計)89.48s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.94s
応答時間(最大)3.25s
応答時間(合計)5.81s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)49.01s
応答時間(最大)93.12s
応答時間(合計)98.01s
-
データ解析と抽出
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)35.25s
応答時間(最大)68.56s
応答時間(合計)70.50s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.61s
応答時間(最大)60.47s
応答時間(合計)64.83s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.28s
応答時間(最大)2.28s
応答時間(合計)2.28s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)31.00s
応答時間(最大)59.73s
応答時間(合計)62.01s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.54s
応答時間(最大)4.51s
応答時間(合計)7.63s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)26.44s
応答時間(最大)26.44s
応答時間(合計)26.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.05s
応答時間(最大)1.05s
応答時間(合計)1.05s
|
| #379#379 |
Step 3.5 Flashmedium66/69 回 (目標: テストごとに 3 回)
|
5.4… |
Stepfun |
$0.105
…
|
190.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 3 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)190.48s
応答時間(最大)1597.85s
応答時間(合計)3238.23s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 49.3%
- 入力トークン
- 139,086
- 出力トークン
- 193,584
- 推論トークン
- 413,546
- 応答時間(平均)
- 190.48s
- 応答時間(合計)
- 3238.23s
- 応答時間(最大)
- 1597.85s
-
エージェントタスク
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)172.16s
応答時間(最大)172.16s
応答時間(合計)172.16s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.57s
応答時間(最大)110.43s
応答時間(合計)121.72s
-
コーディング
: 2.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)258.38s
応答時間(最大)453.94s
応答時間(合計)516.77s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)813.71s
応答時間(最大)1597.85s
応答時間(合計)1627.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.01s
応答時間(最大)15.01s
応答時間(合計)15.01s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)311.60s
応答時間(最大)452.75s
応答時間(合計)623.20s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)22.39s
応答時間(最大)22.39s
応答時間(合計)22.39s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)4.78s
応答時間(合計)4.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.22s
応答時間(最大)10.60s
応答時間(合計)14.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.45s
応答時間(最大)108.45s
応答時間(合計)108.45s
|
| #378#378 |
MiMo-V2.6-Flashnone
|
5.4… |
Xiaomi |
$0.060
…
|
6.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)6.20s
応答時間(最大)62.57s
応答時間(合計)142.63s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 276,697
- 出力トークン
- 75,728
- 推論トークン
- 0
- 応答時間(平均)
- 6.20s
- 応答時間(合計)
- 142.63s
- 応答時間(最大)
- 62.57s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)62.57s
応答時間(最大)62.57s
応答時間(合計)62.57s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)816ms
応答時間(最大)1.57s
応答時間(合計)3.26s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)744ms
応答時間(最大)1.03s
応答時間(合計)2.23s
-
複合
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)4.78s
応答時間(最大)7.06s
応答時間(合計)9.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)715ms
応答時間(最大)756ms
応答時間(合計)1.43s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)722ms
応答時間(最大)878ms
応答時間(合計)2.17s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)779ms
応答時間(最大)779ms
応答時間(合計)779ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)810ms
応答時間(最大)964ms
応答時間(合計)1.62s
-
パズル解決
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)739ms
応答時間(最大)822ms
応答時間(合計)2.22s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.65s
応答時間(最大)1.65s
応答時間(合計)1.65s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)55.14s
応答時間(最大)55.14s
応答時間(合計)55.14s
|
| #377#377 |
Hy4 previewlow
|
5.4… |
Tencent |
$1.844
…
|
207.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 5 指示に従っていない: 1 回答なし: 1
応答時間(平均)207.21s
応答時間(最大)597.45s
応答時間(合計)4765.91s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 20
- 試行ごとの合格率
- 21.7%
- 入力トークン
- 162,180
- 出力トークン
- 5,030
- 推論トークン
- 682,447
- 応答時間(平均)
- 207.21s
- 応答時間(合計)
- 4765.91s
- 応答時間(最大)
- 597.45s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)52.36s
応答時間(最大)52.36s
応答時間(合計)52.36s
-
反AIトリック
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)129.60s
応答時間(最大)237.97s
応答時間(合計)518.41s
-
コーディング
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)219.15s
応答時間(最大)259.22s
応答時間(合計)657.45s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)139.43s
応答時間(最大)171.85s
応答時間(合計)278.85s
-
データ解析と抽出
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)88.53s
応答時間(最大)120.56s
応答時間(合計)177.06s
-
ドメイン特化
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)470.24s
応答時間(最大)547.52s
応答時間(合計)1410.71s
-
汎用知能
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)110.43s
応答時間(最大)110.43s
応答時間(合計)110.43s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)77.72s
応答時間(最大)91.04s
応答時間(合計)155.43s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)238.03s
応答時間(最大)373.63s
応答時間(合計)714.10s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)93.67s
応答時間(最大)93.67s
応答時間(合計)93.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)597.45s
応答時間(最大)597.45s
応答時間(合計)597.45s
|
| #376#376 |
North Mini Codemedium61/69 回 (目標: テストごとに 3 回)
|
5.4… |
Cohere |
$0.000
…
|
140.39s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 余分な書式: 2 API エラー: 1 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)140.39s
応答時間(最大)786.72s
応答時間(合計)3229.07s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 166,347
- 出力トークン
- 423,884
- 推論トークン
- 1,394,387
- 応答時間(平均)
- 140.39s
- 応答時間(合計)
- 3229.07s
- 応答時間(最大)
- 786.72s
-
エージェントタスク
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)105.20s
応答時間(最大)105.20s
応答時間(合計)105.20s
-
反AIトリック
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)64.79s
応答時間(最大)230.24s
応答時間(合計)259.15s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)320.43s
応答時間(最大)357.05s
応答時間(合計)961.28s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)554.89s
応答時間(最大)786.72s
応答時間(合計)1109.78s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.06s
応答時間(最大)26.90s
応答時間(合計)48.13s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)107.19s
応答時間(最大)195.94s
応答時間(合計)321.57s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.08s
応答時間(最大)25.08s
応答時間(合計)25.08s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.43s
応答時間(最大)28.25s
応答時間(合計)30.85s
-
パズル解決
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)19.70s
応答時間(最大)36.03s
応答時間(合計)59.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.93s
応答時間(最大)3.93s
応答時間(合計)3.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)305.02s
応答時間(最大)305.02s
応答時間(合計)305.02s
|
| #375#375 |
Qwen3.8 27Bnone候補モデルの回答はローカルのハードウェアで生成されました。OpenRouter は評価のみに使用しました。 qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
|
5.4… |
Qwen |
~$0.010
GPUの電気料金のみの推定です。コンピューターの他の部分とハードウェアの購入費用は含みません。 NVIDIA GeForce RTX 3090: 0.0968 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.009566.
|
5.05s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)5.05s
応答時間(最大)47.42s
応答時間(合計)116.11s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 39.1%
- 入力トークン
- 281,460
- 出力トークン
- 13,791
- 推論トークン
- 0
- 応答時間(平均)
- 5.05s
- 応答時間(合計)
- 116.11s
- 応答時間(最大)
- 47.42s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)47.42s
応答時間(最大)47.42s
応答時間(合計)47.42s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)828ms
応答時間(最大)1.95s
応答時間(合計)3.31s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.19s
応答時間(最大)1.97s
応答時間(合計)3.56s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)24.10s
応答時間(最大)44.76s
応答時間(合計)48.21s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.14s
応答時間(最大)1.18s
応答時間(合計)2.27s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)552ms
応答時間(最大)675ms
応答時間(合計)1.66s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.31s
応答時間(最大)1.31s
応答時間(合計)1.31s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)582ms
応答時間(最大)633ms
応答時間(合計)1.16s
-
パズル解決
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.84s
応答時間(合計)3.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)2.75s
応答時間(合計)2.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)703ms
応答時間(最大)703ms
応答時間(合計)703ms
|
| #374#374 |
Claude Opus 4.7noneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.4… |
Anthropic |
$0.505
…
|
3.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)3.02s
応答時間(最大)18.27s
応答時間(合計)57.44s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 3
- 試行ごとの合格率
- 69.6%
- 入力トークン
- 69,576
- 出力トークン
- 6,265
- 推論トークン
- 0
- 応答時間(平均)
- 3.02s
- 応答時間(合計)
- 57.44s
- 応答時間(最大)
- 18.27s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.12s
応答時間(最大)3.75s
応答時間(合計)8.50s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.84s
応答時間(最大)2.84s
応答時間(合計)2.84s
-
複合
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.27s
応答時間(最大)18.27s
応答時間(合計)18.27s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.15s
応答時間(最大)2.33s
応答時間(合計)4.29s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.19s
応答時間(最大)1.40s
応答時間(合計)3.58s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.47s
応答時間(最大)3.47s
応答時間(合計)3.47s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)1.68s
応答時間(合計)2.91s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.46s
応答時間(最大)3.72s
応答時間(合計)7.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.74s
応答時間(最大)4.74s
応答時間(合計)4.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
|
| #373#373 |
Seed-2.0-Codenone
|
5.4… |
Bytedance Seed |
$0.257
…
|
17.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 余分な書式: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)17.51s
応答時間(最大)132.84s
応答時間(合計)402.66s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 37.7%
- 入力トークン
- 319,668
- 出力トークン
- 32,069
- 推論トークン
- 0
- 応答時間(平均)
- 17.51s
- 応答時間(合計)
- 402.66s
- 応答時間(最大)
- 132.84s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)79.95s
応答時間(最大)79.95s
応答時間(合計)79.95s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)5.06s
応答時間(最大)9.79s
応答時間(合計)20.24s
-
コーディング
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)13.42s
応答時間(最大)22.57s
応答時間(合計)40.25s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)78.38s
応答時間(最大)132.84s
応答時間(合計)156.76s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.53s
応答時間(最大)6.63s
応答時間(合計)9.05s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)4.51s
応答時間(合計)5.72s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)2.82s
応答時間(合計)2.82s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)1.80s
応答時間(最大)2.04s
応答時間(合計)3.60s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.04s
応答時間(最大)15.52s
応答時間(合計)30.11s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)48.81s
応答時間(最大)48.81s
応答時間(合計)48.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.36s
応答時間(最大)5.36s
応答時間(合計)5.36s
|
| #372#372 |
GLM 5V Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.5… |
Z.ai |
$0.457
…
|
23.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)23.08s
応答時間(最大)95.88s
応答時間(合計)484.63s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 62.3%
- 入力トークン
- 44,615
- 出力トークン
- 2,347
- 推論トークン
- 98,415
- 応答時間(平均)
- 23.08s
- 応答時間(合計)
- 484.63s
- 応答時間(最大)
- 95.88s
-
エージェントタスク
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
反AIトリック
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.76s
応答時間(最大)14.40s
応答時間(合計)43.02s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)63.38s
応答時間(最大)95.88s
応答時間(合計)190.15s
-
複合
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)15.06s
応答時間(最大)15.06s
応答時間(合計)15.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)9.92s
応答時間(合計)19.19s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.15s
応答時間(最大)67.08s
応答時間(合計)114.45s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.09s
応答時間(最大)11.09s
応答時間(合計)11.09s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.74s
応答時間(最大)5.23s
応答時間(合計)7.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.24s
応答時間(最大)16.95s
応答時間(合計)30.72s
-
ツール呼び出し
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)12.53s
応答時間(最大)12.53s
応答時間(合計)12.53s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.96s
応答時間(最大)40.96s
応答時間(合計)40.96s
|
| #371#371 |
Gemma 4 26B A4Bnone
|
5.5… |
Google |
$0.031
…
|
10.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 2 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)10.55s
応答時間(最大)75.76s
応答時間(合計)242.57s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 14
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 280,126
- 出力トークン
- 17,306
- 推論トークン
- 0
- 応答時間(平均)
- 10.55s
- 応答時間(合計)
- 242.57s
- 応答時間(最大)
- 75.76s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)75.76s
応答時間(最大)75.76s
応答時間(合計)75.76s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.28s
応答時間(最大)2.09s
応答時間(合計)5.13s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)4.16s
応答時間(最大)7.07s
応答時間(合計)12.48s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)37.23s
応答時間(最大)43.93s
応答時間(合計)74.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.70s
応答時間(最大)2.21s
応答時間(合計)3.41s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.10s
応答時間(最大)4.23s
応答時間(合計)6.31s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)690ms
応答時間(最大)878ms
応答時間(合計)1.38s
-
パズル解決
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)744ms
応答時間(最大)972ms
応答時間(合計)2.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)57.10s
応答時間(最大)57.10s
応答時間(合計)57.10s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)778ms
応答時間(最大)778ms
応答時間(合計)778ms
|
| #369#369 |
Gemini 2.5 Flashnone
|
5.5… |
Google |
$0.017
…
|
6.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)6.00s
応答時間(最大)118.00s
応答時間(合計)138.04s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 37.7%
- 入力トークン
- 39,886
- 出力トークン
- 1,890
- 推論トークン
- 0
- 応答時間(平均)
- 6.00s
- 応答時間(合計)
- 138.04s
- 応答時間(最大)
- 118.00s
-
エージェントタスク
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.81s
応答時間(最大)1.81s
応答時間(合計)1.81s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)582ms
応答時間(最大)844ms
応答時間(合計)2.33s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)736ms
応答時間(最大)1.16s
応答時間(合計)2.21s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)61.19s
応答時間(最大)118.00s
応答時間(合計)122.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)652ms
応答時間(最大)660ms
応答時間(合計)1.30s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)449ms
応答時間(最大)642ms
応答時間(合計)1.35s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)615ms
応答時間(最大)615ms
応答時間(合計)615ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)590ms
応答時間(最大)622ms
応答時間(合計)1.18s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)604ms
応答時間(最大)700ms
応答時間(合計)1.81s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.91s
応答時間(最大)1.91s
応答時間(合計)1.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.15s
応答時間(最大)1.15s
応答時間(合計)1.15s
|
| #370#370 |
GPT-6 Lunanone
|
5.5… |
OpenAI |
$0.026
…
|
20.48s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)20.48s
応答時間(最大)98.62s
応答時間(合計)470.96s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 16
- 試行ごとの合格率
- 40.6%
- 入力トークン
- 222,357
- 出力トークン
- 6,855
- 推論トークン
- 0
- 応答時間(平均)
- 20.48s
- 応答時間(合計)
- 470.96s
- 応答時間(最大)
- 98.62s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)51.13s
応答時間(最大)51.13s
応答時間(合計)51.13s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)9.82s
応答時間(最大)18.71s
応答時間(合計)39.30s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.04s
応答時間(最大)21.45s
応答時間(合計)24.13s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)50.92s
応答時間(最大)98.62s
応答時間(合計)101.85s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)9.34s
応答時間(最大)17.59s
応答時間(合計)18.69s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.24s
応答時間(最大)18.64s
応答時間(合計)24.73s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.08s
応答時間(最大)1.08s
応答時間(合計)1.08s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)16.97s
応答時間(最大)17.43s
応答時間(合計)33.94s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)25.95s
応答時間(最大)28.94s
応答時間(合計)77.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)71.15s
応答時間(最大)71.15s
応答時間(合計)71.15s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)27.10s
応答時間(最大)27.10s
応答時間(合計)27.10s
|
| #368#368 |
Ling 3.1 Flashnone
|
5.5… |
Inclusionai |
$0.000
…
|
15.75s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 指示に従っていない: 5 回答なし: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)15.75s
応答時間(最大)90.95s
応答時間(合計)362.23s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 18
- 試行ごとの合格率
- 33.3%
- 入力トークン
- 286,758
- 出力トークン
- 85,777
- 推論トークン
- 0
- 応答時間(平均)
- 15.75s
- 応答時間(合計)
- 362.23s
- 応答時間(最大)
- 90.95s
-
エージェントタスク
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)68.68s
応答時間(最大)68.68s
応答時間(合計)68.68s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 2
応答時間(平均)2.02s
応答時間(最大)3.69s
応答時間(合計)8.09s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)31.85s
応答時間(最大)71.62s
応答時間(合計)95.56s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)25.41s
応答時間(最大)45.68s
応答時間(合計)50.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.27s
応答時間(最大)22.34s
応答時間(合計)24.55s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.72s
応答時間(最大)2.72s
応答時間(合計)5.15s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.41s
応答時間(最大)1.41s
応答時間(合計)1.41s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.22s
応答時間(最大)1.23s
応答時間(合計)2.45s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.31s
応答時間(最大)5.80s
応答時間(合計)9.92s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)4.66s
応答時間(最大)4.66s
応答時間(合計)4.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)90.95s
応答時間(最大)90.95s
応答時間(合計)90.95s
|
| #367#367 |
Kimi K2.6none
|
5.5… |
Moonshot AI |
$0.486
↑
…
|
26.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 3 回答なし: 1
応答時間(平均)26.34s
応答時間(最大)238.89s
応答時間(合計)605.78s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.4%
- 入力トークン
- 241,357
- 出力トークン
- 64,021
- 推論トークン
- 1
- 応答時間(平均)
- 26.34s
- 応答時間(合計)
- 605.78s
- 応答時間(最大)
- 238.89s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)175.20s
応答時間(最大)175.20s
応答時間(合計)175.20s
-
反AIトリック
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.39s
応答時間(最大)2.96s
応答時間(合計)5.56s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)82.57s
応答時間(最大)238.89s
応答時間(合計)247.72s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)77.83s
応答時間(最大)152.28s
応答時間(合計)155.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.32s
応答時間(最大)1.39s
応答時間(合計)2.64s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.39s
応答時間(最大)1.77s
応答時間(合計)4.18s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.55s
応答時間(最大)1.55s
応答時間(合計)1.55s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.64s
応答時間(最大)1.80s
応答時間(合計)3.28s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.40s
応答時間(最大)1.81s
応答時間(合計)4.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.46s
応答時間(最大)4.46s
応答時間(合計)4.46s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.36s
応答時間(最大)1.36s
応答時間(合計)1.36s
|
| #366#366 |
Nemotron 3 Supermedium
|
5.5… |
NVIDIA |
$0.081
↑
…
|
56.40s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 4 指示に従っていない: 3 回答なし: 1 タイムアウト: 1
応答時間(平均)56.40s
応答時間(最大)431.98s
応答時間(合計)1184.46s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 42.0%
- 入力トークン
- 229,346
- 出力トークン
- 18,597
- 推論トークン
- 129,338
- 応答時間(平均)
- 56.40s
- 応答時間(合計)
- 1184.46s
- 応答時間(最大)
- 431.98s
-
エージェントタスク
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)138.25s
応答時間(最大)138.25s
応答時間(合計)138.25s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)7.85s
応答時間(最大)22.30s
応答時間(合計)31.40s
-
コーディング
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 3
応答時間(平均)147.32s
応答時間(最大)232.25s
応答時間(合計)294.64s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)259.89s
応答時間(最大)431.98s
応答時間(合計)519.77s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.16s
応答時間(最大)20.65s
応答時間(合計)36.33s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)19.35s
応答時間(最大)21.56s
応答時間(合計)38.71s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.91s
応答時間(最大)6.91s
応答時間(合計)6.91s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.97s
応答時間(最大)11.23s
応答時間(合計)13.95s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)3.15s
応答時間(最大)4.52s
応答時間(合計)9.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)39.75s
応答時間(最大)39.75s
応答時間(合計)39.75s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)55.32s
応答時間(最大)55.32s
応答時間(合計)55.32s
|
| #365#365 |
Nemotron 3.5 Super VLnone
|
5.5… |
NVIDIA |
$0.040
…
|
46.97s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11 指示に従っていない: 2 無効なツール呼び出し: 1 タイムアウト: 1
応答時間(平均)46.97s
応答時間(最大)872.07s
応答時間(合計)1080.29s
…
|
- 合計テスト数
- 23
- 誤答テスト数
- 15
- 試行ごとの合格率
- 43.5%
- 入力トークン
- 251,253
- 出力トークン
- 3,892
- 推論トークン
- 0
- 応答時間(平均)
- 46.97s
- 応答時間(合計)
- 1080.29s
- 応答時間(最大)
- 872.07s
-
エージェントタスク
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.09s
応答時間(最大)71.09s
応答時間(合計)71.09s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.08s
応答時間(最大)7.12s
応答時間(合計)12.30s
-
コーディング
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.33s
応答時間(最大)7.87s
応答時間(合計)13.00s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)451.91s
応答時間(最大)872.07s
応答時間(合計)903.82s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.49s
応答時間(最大)8.19s
応答時間(合計)8.97s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)5.20s
応答時間(最大)10.63s
応答時間(合計)15.61s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)489ms
応答時間(最大)489ms
応答時間(合計)489ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.08s
応答時間(最大)7.25s
応答時間(合計)8.16s
-
パズル解決
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)754ms
応答時間(最大)1.05s
応答時間(合計)2.26s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)33.97s
応答時間(最大)33.97s
応答時間(合計)33.97s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.61s
応答時間(最大)10.61s
応答時間(合計)10.61s
|