| #101#101 |
MiMo-V2.5medium
|
6.5… |
Xiaomi |
$0.082
↓
…
|
32.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 余分な書式: 2 指示に従っていない: 1 無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)32.20s
応答時間(最大)162.44s
応答時間(合計)708.46s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 105,447
- 出力トークン
- 7,120
- 推論トークン
- 230,682
- 応答時間(平均)
- 32.20s
- 応答時間(合計)
- 708.46s
- 応答時間(最大)
- 162.44s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.14s
応答時間(最大)12.41s
応答時間(合計)16.57s
-
コーディング
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)97.14s
応答時間(最大)162.44s
応答時間(合計)291.41s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)77.97s
応答時間(最大)139.08s
応答時間(合計)155.93s
-
データ解析と抽出
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)6.33s
応答時間(最大)7.45s
応答時間(合計)12.67s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)34.53s
応答時間(最大)86.93s
応答時間(合計)103.59s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.37s
応答時間(最大)5.37s
応答時間(合計)5.37s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.80s
応答時間(最大)1.81s
応答時間(合計)3.60s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)20.25s
応答時間(最大)57.93s
応答時間(合計)60.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)51.29s
応答時間(最大)51.29s
応答時間(合計)51.29s
|
| #105#105 |
Gemini 3.1 Flash Litelow
|
6.5… |
Google |
$0.621
…
|
16.26s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 1
応答時間(平均)16.26s
応答時間(最大)318.02s
応答時間(合計)357.64s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 94,224
- 出力トークン
- 7,759
- 推論トークン
- 390,126
- 応答時間(平均)
- 16.26s
- 応答時間(合計)
- 357.64s
- 応答時間(最大)
- 318.02s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.84s
応答時間(最大)3.08s
応答時間(合計)7.37s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.53s
応答時間(最大)1.97s
応答時間(合計)4.58s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)161.25s
応答時間(最大)318.02s
応答時間(合計)322.50s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.44s
応答時間(最大)1.51s
応答時間(合計)2.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.52s
応答時間(最大)1.63s
応答時間(合計)4.57s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.37s
応答時間(最大)1.37s
応答時間(合計)1.37s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.68s
応答時間(合計)3.04s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.41s
応答時間(合計)4.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.66s
応答時間(最大)5.66s
応答時間(合計)5.66s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.46s
応答時間(最大)1.46s
応答時間(合計)1.46s
|
| #106#106 |
Gemini 3.1 Flash Lite Previewnone
|
6.4… |
Google |
$0.052
…
|
1.58s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 指示に従っていない: 2 回答なし: 1
応答時間(平均)1.58s
応答時間(最大)9.27s
応答時間(合計)34.72s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 120,942
- 出力トークン
- 14,292
- 推論トークン
- 0
- 応答時間(平均)
- 1.58s
- 応答時間(合計)
- 34.72s
- 応答時間(最大)
- 9.27s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.47s
応答時間(合計)4.17s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)967ms
応答時間(最大)1.47s
応答時間(合計)2.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.23s
応答時間(最大)9.27s
応答時間(合計)12.46s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.22s
応答時間(最大)1.33s
応答時間(合計)2.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)942ms
応答時間(最大)1.12s
応答時間(合計)2.83s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)741ms
応答時間(最大)741ms
応答時間(合計)741ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.14s
応答時間(合計)2.27s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)900ms
応答時間(最大)962ms
応答時間(合計)2.70s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.39s
応答時間(最大)3.39s
応答時間(合計)3.39s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)814ms
応答時間(最大)814ms
応答時間(合計)814ms
|
| #114#114 |
Qwen3.5-Flashmedium
|
6.2… |
Qwen |
$0.139
↓
…
|
84.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 タイムアウト: 3 API エラー: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)84.82s
応答時間(最大)515.38s
応答時間(合計)1781.22s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 10
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 118,499
- 出力トークン
- 12,284
- 推論トークン
- 490,610
- 応答時間(平均)
- 84.82s
- 応答時間(合計)
- 1781.22s
- 応答時間(最大)
- 515.38s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)59.11s
応答時間(最大)168.31s
応答時間(合計)236.44s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)58.87s
応答時間(最大)68.14s
応答時間(合計)176.60s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)266.58s
応答時間(最大)515.38s
応答時間(合計)533.16s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)56.99s
応答時間(最大)80.14s
応答時間(合計)113.98s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)146.50s
応答時間(最大)234.29s
応答時間(合計)439.49s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)40.05s
応答時間(最大)40.05s
応答時間(合計)40.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)63.49s
応答時間(最大)111.61s
応答時間(合計)126.98s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)27.61s
応答時間(最大)31.84s
応答時間(合計)55.21s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.33s
応答時間(最大)10.33s
応答時間(合計)10.33s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)48.98s
応答時間(最大)48.98s
応答時間(合計)48.98s
|
| #93#93 |
GLM 5V Turbomediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.7… |
Z.ai |
$0.457
…
|
23.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 7 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)23.08s
応答時間(最大)95.88s
応答時間(合計)484.63s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 44,615
- 出力トークン
- 2,347
- 推論トークン
- 98,415
- 応答時間(平均)
- 23.08s
- 応答時間(合計)
- 484.63s
- 応答時間(最大)
- 95.88s
-
反AIトリック
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.76s
応答時間(最大)14.40s
応答時間(合計)43.02s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)63.38s
応答時間(最大)95.88s
応答時間(合計)190.15s
-
複合
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)15.06s
応答時間(最大)15.06s
応答時間(合計)15.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)9.92s
応答時間(合計)19.19s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.15s
応答時間(最大)67.08s
応答時間(合計)114.45s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.09s
応答時間(最大)11.09s
応答時間(合計)11.09s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.74s
応答時間(最大)5.23s
応答時間(合計)7.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)10.24s
応答時間(最大)16.95s
応答時間(合計)30.72s
-
ツール呼び出し
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)12.53s
応答時間(最大)12.53s
応答時間(合計)12.53s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)40.96s
応答時間(最大)40.96s
応答時間(合計)40.96s
|
| #130#130 |
Step 3.5 Flashmedium
|
6.0… |
Stepfun |
$0.108
↑
…
|
174.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3 API エラー: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)174.22s
応答時間(最大)1597.85s
応答時間(合計)2613.32s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 65,707
- 出力トークン
- 108,561
- 推論トークン
- 293,993
- 応答時間(平均)
- 174.22s
- 応答時間(合計)
- 2613.32s
- 応答時間(最大)
- 1597.85s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.57s
応答時間(最大)110.43s
応答時間(合計)121.72s
-
コーディング
: 2.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)258.38s
応答時間(最大)453.94s
応答時間(合計)516.77s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)813.71s
応答時間(最大)1597.85s
応答時間(合計)1627.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.01s
応答時間(最大)15.01s
応答時間(合計)15.01s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)170.45s
応答時間(最大)170.45s
応答時間(合計)170.45s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)22.39s
応答時間(最大)22.39s
応答時間(合計)22.39s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.78s
応答時間(最大)4.78s
応答時間(合計)4.78s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.22s
応答時間(最大)10.60s
応答時間(合計)14.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)108.45s
応答時間(最大)108.45s
応答時間(合計)108.45s
|
| #135#135 |
Hy3 previewhighアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.9… |
Tencent |
$0.048
↕
…
|
56.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 7 不正解: 3
応答時間(平均)56.57s
応答時間(最大)149.94s
応答時間(合計)848.59s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 10
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 25,987
- 出力トークン
- 216,719
- 推論トークン
- 0
- 応答時間(平均)
- 56.57s
- 応答時間(合計)
- 848.59s
- 応答時間(最大)
- 149.94s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)15.12s
応答時間(最大)19.99s
応答時間(合計)45.37s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)99.76s
応答時間(最大)99.76s
応答時間(合計)99.76s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)113.09s
応答時間(最大)113.09s
応答時間(合計)113.09s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)12.11s
応答時間(最大)12.11s
応答時間(合計)12.11s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)109.04s
応答時間(最大)149.94s
応答時間(合計)327.11s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.36s
応答時間(最大)41.83s
応答時間(合計)68.73s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)27.94s
応答時間(最大)45.06s
応答時間(合計)55.89s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.83s
応答時間(最大)78.83s
応答時間(合計)78.83s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)47.71s
応答時間(最大)47.71s
応答時間(合計)47.71s
|
| #62#62 |
KAT-Coder-Pro V2.5low
|
7.4… |
Kwaipilot |
$0.387
…
|
19.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 API エラー: 1
応答時間(平均)19.47s
応答時間(最大)209.15s
応答時間(合計)428.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 69.7%
- 入力トークン
- 87,673
- 出力トークン
- 7,166
- 推論トークン
- 101,474
- 応答時間(平均)
- 19.47s
- 応答時間(合計)
- 428.31s
- 応答時間(最大)
- 209.15s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.20s
応答時間(最大)9.56s
応答時間(合計)16.82s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.87s
応答時間(最大)51.34s
応答時間(合計)74.61s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)111.87s
応答時間(最大)209.15s
応答時間(合計)223.74s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.19s
応答時間(最大)4.83s
応答時間(合計)8.37s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)17.52s
応答時間(最大)44.39s
応答時間(合計)52.55s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.32s
応答時間(最大)2.32s
応答時間(合計)2.32s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.53s
応答時間(最大)3.03s
応答時間(合計)5.07s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.11s
応答時間(最大)4.16s
応答時間(合計)9.33s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.45s
応答時間(最大)18.45s
応答時間(合計)18.45s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.06s
応答時間(最大)17.06s
応答時間(合計)17.06s
|
| #69#69 |
KAT-Coder-Pro V2.5high
|
7.2… |
Kwaipilot |
$0.482
…
|
20.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 1
応答時間(平均)20.83s
応答時間(最大)199.97s
応答時間(合計)458.31s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 106,076
- 出力トークン
- 9,071
- 推論トークン
- 127,093
- 応答時間(平均)
- 20.83s
- 応答時間(合計)
- 458.31s
- 応答時間(最大)
- 199.97s
-
反AIトリック
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.17s
応答時間(最大)4.99s
応答時間(合計)12.67s
-
コーディング
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.00s
応答時間(最大)35.74s
応答時間(合計)65.99s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)106.70s
応答時間(最大)199.97s
応答時間(合計)213.41s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.13s
応答時間(最大)4.56s
応答時間(合計)8.26s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)35.33s
応答時間(最大)95.65s
応答時間(合計)105.99s
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.27s
応答時間(最大)3.27s
応答時間(合計)3.27s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.67s
応答時間(最大)2.87s
応答時間(合計)5.33s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.38s
応答時間(最大)4.30s
応答時間(合計)10.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.04s
応答時間(最大)28.04s
応答時間(合計)28.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.22s
応答時間(最大)5.22s
応答時間(合計)5.22s
|
| #71#71 |
Qwen3.7 Plusnone
|
7.2… |
Qwen |
$0.106
↓
…
|
12.09s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 1
応答時間(平均)12.09s
応答時間(最大)206.03s
応答時間(合計)265.89s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 98,824
- 出力トークン
- 58,097
- 推論トークン
- 0
- 応答時間(平均)
- 12.09s
- 応答時間(合計)
- 265.89s
- 応答時間(最大)
- 206.03s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.38s
応答時間(最大)2.69s
応答時間(合計)5.51s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.15s
応答時間(最大)4.39s
応答時間(合計)6.44s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)117.70s
応答時間(最大)206.03s
応答時間(合計)235.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.43s
応答時間(最大)1.57s
応答時間(合計)2.86s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)868ms
応答時間(最大)1.02s
応答時間(合計)2.60s
-
汎用知能
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.33s
応答時間(最大)1.33s
応答時間(合計)1.33s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)929ms
応答時間(最大)1.05s
応答時間(合計)1.86s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.71s
応答時間(最大)2.65s
応答時間(合計)5.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.21s
応答時間(最大)1.21s
応答時間(合計)1.21s
|
| #76#76 |
DeepSeek V3.2medium
|
7.0… |
DeepSeek |
$0.078
↑
…
|
68.62s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 2 タイムアウト: 2 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)68.62s
応答時間(最大)376.10s
応答時間(合計)1509.53s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 101,047
- 出力トークン
- 11,834
- 推論トークン
- 117,014
- 応答時間(平均)
- 68.62s
- 応答時間(合計)
- 1509.53s
- 応答時間(最大)
- 376.10s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)24.23s
応答時間(最大)29.86s
応答時間(合計)96.93s
-
コーディング
: 6.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)248.68s
応答時間(最大)376.10s
応答時間(合計)746.04s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)79.92s
応答時間(最大)93.11s
応答時間(合計)159.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.09s
応答時間(最大)39.12s
応答時間(合計)72.18s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)24.27s
応答時間(最大)33.91s
応答時間(合計)72.82s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)58.29s
応答時間(最大)58.29s
応答時間(合計)58.29s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.78s
応答時間(最大)47.30s
応答時間(合計)71.56s
-
パズル解決
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)37.69s
応答時間(最大)59.22s
応答時間(合計)113.08s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.81s
応答時間(最大)34.81s
応答時間(合計)34.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.99s
応答時間(最大)83.99s
応答時間(合計)83.99s
|
| #80#80 |
Seed-2.0-Minimedium
|
7.0… |
Bytedance Seed |
$0.101
…
|
92.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 5 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)92.53s
応答時間(最大)301.78s
応答時間(合計)1665.50s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 57.6%
- 入力トークン
- 125,467
- 出力トークン
- 10,778
- 推論トークン
- 209,856
- 応答時間(平均)
- 92.53s
- 応答時間(合計)
- 1665.50s
- 応答時間(最大)
- 301.78s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)220.48s
応答時間(最大)243.66s
応答時間(合計)440.97s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)282.30s
応答時間(最大)301.78s
応答時間(合計)564.61s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)31.79s
応答時間(最大)50.78s
応答時間(合計)95.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)56.76s
応答時間(最大)56.76s
応答時間(合計)56.76s
|
| #81#81 |
KAT-Coder-Pro V2.5medium
|
6.9… |
Kwaipilot |
$0.467
…
|
24.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 API エラー: 1 指示に従っていない: 1
応答時間(平均)24.04s
応答時間(最大)257.00s
応答時間(合計)528.92s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 87,907
- 出力トークン
- 7,213
- 推論トークン
- 128,251
- 応答時間(平均)
- 24.04s
- 応答時間(合計)
- 528.92s
- 応答時間(最大)
- 257.00s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.90s
応答時間(最大)6.99s
応答時間(合計)15.61s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)33.10s
応答時間(最大)71.91s
応答時間(合計)99.31s
-
複合
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)135.75s
応答時間(最大)257.00s
応答時間(合計)271.50s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.70s
応答時間(最大)5.34s
応答時間(合計)9.39s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)29.03s
応答時間(最大)81.45s
応答時間(合計)87.10s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.35s
応答時間(最大)2.35s
応答時間(合計)2.35s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.58s
応答時間(最大)2.93s
応答時間(合計)5.16s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.20s
応答時間(最大)3.85s
応答時間(合計)9.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.02s
応答時間(最大)19.02s
応答時間(合計)19.02s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.87s
応答時間(最大)9.87s
応答時間(合計)9.87s
|
| #83#83 |
GPT-5.6 Solnone
|
6.9… |
OpenAI |
$0.524
…
|
2.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 1
応答時間(平均)2.16s
応答時間(最大)12.81s
応答時間(合計)47.62s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 78,593
- 出力トークン
- 4,357
- 推論トークン
- 0
- 応答時間(平均)
- 2.16s
- 応答時間(合計)
- 47.62s
- 応答時間(最大)
- 12.81s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.27s
応答時間(最大)2.37s
応答時間(合計)5.09s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.39s
応答時間(最大)2.12s
応答時間(合計)4.16s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.37s
応答時間(最大)12.81s
応答時間(合計)16.74s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.53s
応答時間(最大)1.63s
応答時間(合計)3.05s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.43s
応答時間(最大)1.70s
応答時間(合計)4.28s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.52s
応答時間(最大)1.52s
応答時間(合計)1.52s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.33s
応答時間(最大)1.38s
応答時間(合計)2.66s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.49s
応答時間(最大)2.05s
応答時間(合計)4.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.70s
応答時間(最大)3.70s
応答時間(合計)3.70s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.95s
応答時間(最大)1.95s
応答時間(合計)1.95s
|
| #86#86 |
Step 3.7 Flashhigh
|
6.9… |
Stepfun |
$1.207
…
|
64.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 回答なし: 4 無効なツール呼び出し: 1
応答時間(平均)64.68s
応答時間(最大)364.99s
応答時間(合計)1423.01s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 98,691
- 出力トークン
- 1,032,395
- 推論トークン
- 0
- 応答時間(平均)
- 64.68s
- 応答時間(合計)
- 1423.01s
- 応答時間(最大)
- 364.99s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.40s
応答時間(最大)45.73s
応答時間(合計)53.58s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 2 不正解: 1
応答時間(平均)206.21s
応答時間(最大)364.99s
応答時間(合計)618.64s
-
複合
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)41.23s
応答時間(最大)69.44s
応答時間(合計)82.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.72s
応答時間(最大)24.97s
応答時間(合計)29.43s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)149.64s
応答時間(最大)163.21s
応答時間(合計)448.91s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.17s
応答時間(最大)4.17s
応答時間(合計)4.17s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.89s
応答時間(合計)3.03s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)10.22s
応答時間(最大)23.65s
応答時間(合計)30.66s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.79s
応答時間(最大)2.79s
応答時間(合計)2.79s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)149.34s
応答時間(最大)149.34s
応答時間(合計)149.34s
|
| #87#87 |
GPT-5.5none
|
6.9… |
OpenAI |
$0.544
…
|
2.36s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 11
応答時間(平均)2.36s
応答時間(最大)12.24s
応答時間(合計)51.88s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 56.1%
- 入力トークン
- 79,285
- 出力トークン
- 4,915
- 推論トークン
- 0
- 応答時間(平均)
- 2.36s
- 応答時間(合計)
- 51.88s
- 応答時間(最大)
- 12.24s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.31s
応答時間(最大)2.08s
応答時間(合計)5.25s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.35s
応答時間(最大)2.05s
応答時間(合計)4.05s
-
複合
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.90s
応答時間(最大)12.24s
応答時間(合計)17.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.18s
応答時間(最大)1.24s
応答時間(合計)2.37s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.31s
応答時間(最大)1.39s
応答時間(合計)3.92s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.15s
応答時間(最大)1.19s
応答時間(合計)2.31s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.29s
応答時間(最大)1.56s
応答時間(合計)3.87s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.90s
応答時間(最大)3.90s
応答時間(合計)3.90s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.01s
応答時間(最大)5.01s
応答時間(合計)5.01s
|
| #92#92 |
KAT-Coder-Pro V2.5none
|
6.7… |
Kwaipilot |
$0.476
…
|
25.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 無効なツール呼び出し: 1
応答時間(平均)25.56s
応答時間(最大)335.41s
応答時間(合計)562.43s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 68.2%
- 入力トークン
- 98,499
- 出力トークン
- 135,861
- 推論トークン
- 0
- 応答時間(平均)
- 25.56s
- 応答時間(合計)
- 562.43s
- 応答時間(最大)
- 335.41s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.58s
応答時間(最大)7.94s
応答時間(合計)18.33s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)22.52s
応答時間(最大)30.63s
応答時間(合計)67.55s
-
複合
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)183.08s
応答時間(最大)335.41s
応答時間(合計)366.16s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.07s
応答時間(最大)5.35s
応答時間(合計)10.15s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)21.64s
応答時間(最大)53.57s
応答時間(合計)64.92s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.16s
応答時間(最大)5.16s
応答時間(合計)5.16s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.82s
応答時間(合計)5.23s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.03s
応答時間(最大)4.12s
応答時間(合計)9.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.93s
応答時間(最大)5.93s
応答時間(合計)5.93s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.91s
応答時間(最大)9.91s
応答時間(合計)9.91s
|
| #108#108 |
Ring-2.6-1Tmedium
|
6.3… |
Inclusionai |
$0.103
↑
…
|
68.74s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 API エラー: 2 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)68.74s
応答時間(最大)304.19s
応答時間(合計)1374.86s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 60.6%
- 入力トークン
- 113,604
- 出力トークン
- 123,079
- 推論トークン
- 42,754
- 応答時間(平均)
- 68.74s
- 応答時間(合計)
- 1374.86s
- 応答時間(最大)
- 304.19s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)42.21s
応答時間(最大)89.34s
応答時間(合計)168.84s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)59.65s
応答時間(最大)59.65s
応答時間(合計)59.65s
-
複合
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)257.28s
応答時間(最大)304.19s
応答時間(合計)514.55s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.36s
応答時間(最大)54.24s
応答時間(合計)74.71s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)64.92s
応答時間(最大)150.55s
応答時間(合計)194.76s
-
汎用知能
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)58.26s
応答時間(最大)58.26s
応答時間(合計)58.26s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.78s
応答時間(最大)17.75s
応答時間(合計)23.55s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)20.73s
応答時間(最大)42.39s
応答時間(合計)62.19s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)104.44s
応答時間(最大)104.44s
応答時間(合計)104.44s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)113.91s
応答時間(最大)113.91s
応答時間(合計)113.91s
|
| #119#119 |
Qwen3.5-35B-A3Bmedium
|
6.2… |
Qwen |
$0.837
↓
…
|
112.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 5 回答なし: 2 不正解: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)112.47s
応答時間(最大)950.25s
応答時間(合計)2474.28s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 11
- 試行ごとの合格率
- 66.7%
- 入力トークン
- 130,388
- 出力トークン
- 40,630
- 推論トークン
- 786,040
- 応答時間(平均)
- 112.47s
- 応答時間(合計)
- 2474.28s
- 応答時間(最大)
- 950.25s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.13s
応答時間(最大)34.96s
応答時間(合計)84.53s
-
コーディング
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)206.65s
応答時間(最大)409.98s
応答時間(合計)619.94s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)512.79s
応答時間(最大)950.25s
応答時間(合計)1025.59s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)59.33s
応答時間(最大)97.12s
応答時間(合計)118.65s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)88.34s
応答時間(最大)106.00s
応答時間(合計)265.01s
-
汎用知能
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)30.30s
応答時間(最大)30.30s
応答時間(合計)30.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.45s
応答時間(最大)43.36s
応答時間(合計)48.89s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)33.13s
応答時間(最大)64.81s
応答時間(合計)99.38s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)177.35s
応答時間(最大)177.35s
応答時間(合計)177.35s
|
| #209#209 |
Step 3.5 Flashnoneアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
2.3… |
Stepfun |
$0.020
…
|
39.03s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 指示に従っていない: 1 不正解: 1
応答時間(平均)39.03s
応答時間(最大)114.12s
応答時間(合計)312.26s
…
|
- 合計テスト数
- 12
- 誤答テスト数
- 6
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 1,971
- 出力トークン
- 64,795
- 推論トークン
- 0
- 応答時間(平均)
- 39.03s
- 応答時間(合計)
- 312.26s
- 応答時間(最大)
- 114.12s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.99s
応答時間(最大)109.60s
応答時間(合計)139.95s
-
コーディング
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
ドメイン特化
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.54s
応答時間(最大)34.54s
応答時間(合計)34.54s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)14.37s
応答時間(最大)14.37s
応答時間(合計)14.37s
-
指示追従
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.30s
応答時間(最大)9.30s
応答時間(合計)9.30s
-
パズル解決
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)114.12s
応答時間(最大)114.12s
応答時間(合計)114.12s
|
| #134#134 |
Mimo V2 Omnimediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.9… |
Xiaomi |
$0.683
↓
…
|
41.16s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 API エラー: 1 余分な書式: 1
応答時間(平均)41.16s
応答時間(最大)299.23s
応答時間(合計)823.26s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 11
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 37,007
- 出力トークン
- 1,952
- 推論トークン
- 357,306
- 応答時間(平均)
- 41.16s
- 応答時間(合計)
- 823.26s
- 応答時間(最大)
- 299.23s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.75s
応答時間(最大)4.59s
応答時間(合計)10.98s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1 不正解: 1
応答時間(平均)183.89s
応答時間(最大)299.23s
応答時間(合計)367.78s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.87s
応答時間(最大)25.87s
応答時間(合計)25.87s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.04s
応答時間(最大)4.12s
応答時間(合計)6.07s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)47.89s
応答時間(最大)134.52s
応答時間(合計)143.67s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.61s
応答時間(最大)3.61s
応答時間(合計)3.61s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.99s
応答時間(最大)7.14s
応答時間(合計)9.99s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.38s
応答時間(最大)3.69s
応答時間(合計)7.13s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.98s
応答時間(最大)13.98s
応答時間(合計)13.98s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)234.19s
応答時間(最大)234.19s
応答時間(合計)234.19s
|
| #153#153 |
Hy3 previewlowアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.5… |
Tencent |
$0.015
↕
…
|
24.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 7 不正解: 4
応答時間(平均)24.56s
応答時間(最大)78.74s
応答時間(合計)368.35s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 11
- 試行ごとの合格率
- 50.0%
- 入力トークン
- 21,045
- 出力トークン
- 63,460
- 推論トークン
- 0
- 応答時間(平均)
- 24.56s
- 応答時間(合計)
- 368.35s
- 応答時間(最大)
- 78.74s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)9.32s
応答時間(最大)12.36s
応答時間(合計)27.96s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)27.94s
応答時間(最大)27.94s
応答時間(合計)27.94s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.74s
応答時間(最大)78.74s
応答時間(合計)78.74s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)5.85s
応答時間(最大)5.85s
応答時間(合計)5.85s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)40.44s
応答時間(最大)46.32s
応答時間(合計)121.31s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.98s
応答時間(最大)22.24s
応答時間(合計)31.97s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)7.51s
応答時間(最大)7.86s
応答時間(合計)15.02s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)17.84s
応答時間(最大)17.84s
応答時間(合計)17.84s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)41.74s
応答時間(最大)41.74s
応答時間(合計)41.74s
|
| #175#175 |
Qwen3.6 Plus Previewmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.9… |
Qwen |
$0.000
…
|
15.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 8 不正解: 2
応答時間(平均)15.25s
応答時間(最大)43.55s
応答時間(合計)182.96s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 40.9%
- 入力トークン
- 32,639
- 出力トークン
- 1,153
- 推論トークン
- 62,197
- 応答時間(平均)
- 15.25s
- 応答時間(合計)
- 182.96s
- 応答時間(最大)
- 43.55s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)11.69s
応答時間(最大)19.37s
応答時間(合計)35.08s
-
コーディング
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.95s
応答時間(最大)34.95s
応答時間(合計)34.95s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.95s
応答時間(最大)15.40s
応答時間(合計)29.90s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)22.08s
応答時間(最大)43.55s
応答時間(合計)66.23s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)3.40s
応答時間(最大)3.40s
応答時間(合計)3.40s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)7.52s
応答時間(最大)7.52s
応答時間(合計)7.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.87s
応答時間(最大)5.87s
応答時間(合計)5.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #185#185 |
Grok 4.1 Fastmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
X AI |
$0.069
↑
…
|
23.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1
応答時間(平均)23.85s
応答時間(最大)121.79s
応答時間(合計)286.16s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 42,845
- 出力トークン
- 2,006
- 推論トークン
- 96,334
- 応答時間(平均)
- 23.85s
- 応答時間(合計)
- 286.16s
- 応答時間(最大)
- 121.79s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.81s
応答時間(最大)5.65s
応答時間(合計)7.62s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)23.58s
応答時間(最大)23.58s
応答時間(合計)23.58s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.64s
応答時間(最大)37.64s
応答時間(合計)37.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.63s
応答時間(最大)6.63s
応答時間(合計)6.63s
-
ドメイン特化
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)121.79s
応答時間(最大)121.79s
応答時間(合計)121.79s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.25s
応答時間(最大)16.25s
応答時間(合計)16.25s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.63s
応答時間(最大)4.63s
応答時間(合計)4.63s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.40s
応答時間(最大)7.79s
応答時間(合計)14.81s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)27.71s
応答時間(最大)27.71s
応答時間(合計)27.71s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.52s
応答時間(最大)25.52s
応答時間(合計)25.52s
|
| #186#186 |
Laguna M.1mediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
Poolside |
$0.033
↕
…
|
14.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)14.73s
応答時間(最大)53.14s
応答時間(合計)220.93s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 44,969
- 出力トークン
- 58,087
- 推論トークン
- 0
- 応答時間(平均)
- 14.73s
- 応答時間(合計)
- 220.93s
- 応答時間(最大)
- 53.14s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)4.87s
応答時間(最大)6.30s
応答時間(合計)14.62s
-
コーディング
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)35.61s
応答時間(最大)35.61s
応答時間(合計)35.61s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)53.14s
応答時間(最大)53.14s
応答時間(合計)53.14s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.93s
応答時間(最大)5.03s
応答時間(合計)9.86s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)24.14s
応答時間(最大)45.83s
応答時間(合計)72.43s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.30s
応答時間(最大)6.00s
応答時間(合計)8.59s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)10.19s
応答時間(最大)14.92s
応答時間(合計)20.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.31s
応答時間(最大)6.31s
応答時間(合計)6.31s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #46#46 |
DeepSeek V4 Prohigh
|
7.7… |
DeepSeek |
$0.200
…
|
79.14s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 2 API エラー: 1 余分な書式: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)79.14s
応答時間(最大)416.76s
応答時間(合計)1740.97s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 63.6%
- 入力トークン
- 90,748
- 出力トークン
- 10,462
- 推論トークン
- 178,719
- 応答時間(平均)
- 79.14s
- 応答時間(合計)
- 1740.97s
- 応答時間(最大)
- 416.76s
-
反AIトリック
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 回答なし: 1
応答時間(平均)25.70s
応答時間(最大)48.19s
応答時間(合計)102.80s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 タイムアウト: 1
応答時間(平均)243.00s
応答時間(最大)416.76s
応答時間(合計)729.00s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)78.99s
応答時間(最大)119.80s
応答時間(合計)157.97s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)25.03s
応答時間(最大)27.49s
応答時間(合計)50.06s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)151.46s
応答時間(最大)387.23s
応答時間(合計)454.38s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.83s
応答時間(最大)8.83s
応答時間(合計)8.83s
-
指示追従
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)8.73s
応答時間(最大)9.53s
応答時間(合計)17.45s
-
パズル解決
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)56.85s
応答時間(最大)146.68s
応答時間(合計)170.55s
-
ツール呼び出し
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.92s
応答時間(最大)15.92s
応答時間(合計)15.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.01s
応答時間(最大)34.01s
応答時間(合計)34.01s
|
| #77#77 |
Kimi K2.5medium
|
7.0… |
Moonshot AI |
$0.600
↑
…
|
99.00s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2 回答なし: 2 タイムアウト: 2 無効なツール呼び出し: 1
応答時間(平均)99.00s
応答時間(最大)281.00s
応答時間(合計)1485.04s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 65.2%
- 入力トークン
- 118,448
- 出力トークン
- 62,124
- 推論トークン
- 165,243
- 応答時間(平均)
- 99.00s
- 応答時間(合計)
- 1485.04s
- 応答時間(最大)
- 281.00s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)51.38s
応答時間(最大)85.28s
応答時間(合計)102.75s
-
コーディング
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 タイムアウト: 1
応答時間(平均)217.49s
応答時間(最大)281.00s
応答時間(合計)652.48s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)89.19s
応答時間(最大)107.01s
応答時間(合計)178.38s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.78s
応答時間(最大)49.78s
応答時間(合計)49.78s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)137.29s
応答時間(最大)137.29s
応答時間(合計)137.29s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)69.73s
応答時間(最大)69.73s
応答時間(合計)69.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.47s
応答時間(最大)92.47s
応答時間(合計)92.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)43.23s
応答時間(最大)82.75s
応答時間(合計)86.47s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.74s
応答時間(最大)31.74s
応答時間(合計)31.74s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)83.95s
応答時間(最大)83.95s
応答時間(合計)83.95s
|
| #78#78 |
Mercury 2medium
|
7.0… |
Inception |
$0.093
…
|
2.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)2.72s
応答時間(最大)14.63s
応答時間(合計)57.12s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 109,572
- 出力トークン
- 10,313
- 推論トークン
- 76,806
- 応答時間(平均)
- 2.72s
- 応答時間(合計)
- 57.12s
- 応答時間(最大)
- 14.63s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.12s
応答時間(最大)2.46s
応答時間(合計)4.49s
-
コーディング
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.04s
応答時間(最大)3.06s
応答時間(合計)6.11s
-
複合
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)7.84s
応答時間(最大)12.40s
応答時間(合計)15.69s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.47s
応答時間(合計)2.21s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.48s
応答時間(最大)14.63s
応答時間(合計)19.43s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)821ms
応答時間(最大)821ms
応答時間(合計)821ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.07s
応答時間(最大)1.07s
応答時間(合計)1.07s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)949ms
応答時間(最大)1.18s
応答時間(合計)2.85s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.58s
応答時間(最大)2.58s
応答時間(合計)2.58s
|
| #82#82 |
DeepSeek V4 Pronone
|
6.9… |
DeepSeek |
$0.096
…
|
11.55s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)11.55s
応答時間(最大)119.44s
応答時間(合計)254.11s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 51.5%
- 入力トークン
- 148,069
- 出力トークン
- 35,551
- 推論トークン
- 0
- 応答時間(平均)
- 11.55s
- 応答時間(合計)
- 254.11s
- 応答時間(最大)
- 119.44s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)5.11s
応答時間(合計)16.10s
-
コーディング
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.38s
応答時間(最大)30.09s
応答時間(合計)40.15s
-
複合
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)71.59s
応答時間(最大)119.44s
応答時間(合計)143.18s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.61s
応答時間(最大)6.06s
応答時間(合計)9.23s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.72s
応答時間(最大)7.90s
応答時間(合計)11.17s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.37s
応答時間(合計)8.24s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.61s
応答時間(最大)5.19s
応答時間(合計)10.83s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.40s
応答時間(最大)7.40s
応答時間(合計)7.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.76s
応答時間(最大)5.76s
応答時間(合計)5.76s
|
| #91#91 |
LongCat 2.0low
|
6.7… |
Meituan |
$0.391
…
|
100.31s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 1 指示に従っていない: 1 回答なし: 1 タイムアウト: 1
応答時間(平均)100.31s
応答時間(最大)560.39s
応答時間(合計)2206.82s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 12
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 90,909
- 出力トークン
- 5,679
- 推論トークン
- 297,369
- 応答時間(平均)
- 100.31s
- 応答時間(合計)
- 2206.82s
- 応答時間(最大)
- 560.39s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.04s
応答時間(最大)17.24s
応答時間(合計)36.14s
-
コーディング
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)479.30s
応答時間(最大)560.39s
応答時間(合計)1437.91s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)130.21s
応答時間(最大)197.80s
応答時間(合計)260.43s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.77s
応答時間(最大)18.66s
応答時間(合計)21.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)86.08s
応答時間(最大)150.48s
応答時間(合計)258.25s
-
汎用知能
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.45s
応答時間(最大)22.45s
応答時間(合計)22.45s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.39s
応答時間(最大)6.65s
応答時間(合計)12.78s
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)8.15s
応答時間(最大)12.04s
応答時間(合計)24.45s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.81s
応答時間(最大)10.81s
応答時間(合計)10.81s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)122.07s
応答時間(最大)122.07s
応答時間(合計)122.07s
|