| #31#31 |
Grok 4.20 Betamediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
8.0… |
X AI |
$0.633… |
9.81s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 3 不正解: 3
応答時間(平均)9.81s
応答時間(最大)31.36s
応答時間(合計)176.62s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 74.1%
不安定なテスト: 2…
出力トークン: 1,568
推論トークン: 91,909
応答時間: 平均 9.81s · 合計 176.62s · 最大 31.36s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.16s
応答時間(最大)3.44s
応答時間(合計)12.65s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.36s
応答時間(最大)31.36s
応答時間(合計)31.36s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.93s
応答時間(最大)20.93s
応答時間(合計)20.93s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.01s
応答時間(最大)4.27s
応答時間(合計)8.02s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)21.33s
応答時間(最大)24.21s
応答時間(合計)64.00s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.78s
応答時間(最大)5.78s
応答時間(合計)5.78s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.97s
応答時間(最大)6.05s
応答時間(合計)9.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.85s
応答時間(最大)4.53s
応答時間(合計)11.55s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.39s
応答時間(最大)12.39s
応答時間(合計)12.39s
|
| #32#32 |
Claude Sonnet 4.6medium
|
8.0… |
Anthropic |
$1.161… |
12.66s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 2 タイムアウト: 1
応答時間(平均)12.66s
応答時間(最大)46.35s
応答時間(合計)126.62s
…
|
合計テスト数: 18
誤答テスト数: 5
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 74.1%
不安定なテスト: 1…
出力トークン: 42,068
推論トークン: 26,784
応答時間: 平均 12.66s · 合計 126.62s · 最大 46.35s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)2.98s
応答時間(最大)4.95s
応答時間(合計)5.97s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.76s
応答時間(最大)35.76s
応答時間(合計)35.76s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)46.35s
応答時間(最大)46.35s
応答時間(合計)46.35s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.90s
応答時間(最大)13.90s
応答時間(合計)13.90s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.94s
応答時間(最大)4.94s
応答時間(合計)4.94s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.61s
応答時間(最大)2.61s
応答時間(合計)2.61s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.80s
応答時間(最大)5.22s
応答時間(合計)9.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.48s
応答時間(最大)7.48s
応答時間(合計)7.48s
|
| #33#33 |
DeepSeek V3.2medium
|
8.0… |
DeepSeek |
$0.028… |
43.49s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 タイムアウト: 2 指示に従っていない: 1
応答時間(平均)43.49s
応答時間(最大)180.92s
応答時間(合計)782.73s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 79.6%
不安定なテスト: 4…
出力トークン: 7,554
推論トークン: 45,588
応答時間: 平均 43.49s · 合計 782.73s · 最大 180.92s
-
反AIトリック
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.72s
応答時間(最大)44.23s
応答時間(合計)122.88s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)180.92s
応答時間(最大)180.92s
応答時間(合計)180.92s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)93.11s
応答時間(最大)93.11s
応答時間(合計)93.11s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)36.09s
応答時間(最大)39.12s
応答時間(合計)72.18s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)21.78s
応答時間(最大)30.66s
応答時間(合計)65.35s
-
汎用知能
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)31.30s
応答時間(最大)31.30s
応答時間(合計)31.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)35.78s
応答時間(最大)47.30s
応答時間(合計)71.56s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)36.87s
応答時間(最大)59.22s
応答時間(合計)110.62s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.81s
応答時間(最大)34.81s
応答時間(合計)34.81s
|
| #34#34 |
GPT-5.2 Chatnone
|
7.9… |
OpenAI |
$0.291… |
6.84s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 1
応答時間(平均)6.84s
応答時間(最大)38.52s
応答時間(合計)123.17s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 75.9%
不安定なテスト: 3…
出力トークン: 17,346
推論トークン: 0
応答時間: 平均 6.84s · 合計 123.17s · 最大 38.52s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.40s
応答時間(最大)4.78s
応答時間(合計)13.59s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.97s
応答時間(最大)8.97s
応答時間(合計)8.97s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.12s
応答時間(最大)9.12s
応答時間(合計)9.12s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.05s
応答時間(最大)3.33s
応答時間(合計)6.10s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)17.78s
応答時間(最大)38.52s
応答時間(合計)53.33s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.20s
応答時間(最大)3.20s
応答時間(合計)3.20s
-
指示追従
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.46s
応答時間(最大)6.45s
応答時間(合計)10.92s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.42s
応答時間(最大)5.04s
応答時間(合計)13.27s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.68s
応答時間(最大)4.68s
応答時間(合計)4.68s
|
| #35#35 |
Gemini 3.1 Flash Lite Previewnone
|
7.9… |
Google |
$0.016… |
1.30s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2
応答時間(平均)1.30s
応答時間(最大)3.39s
応答時間(合計)23.42s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 70.4%
不安定なテスト: 1…
出力トークン: 5,361
推論トークン: 0
応答時間: 平均 1.30s · 合計 23.42s · 最大 3.39s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.04s
応答時間(最大)1.47s
応答時間(合計)4.17s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.47s
応答時間(最大)1.47s
応答時間(合計)1.47s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.20s
応答時間(最大)3.20s
応答時間(合計)3.20s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.22s
応答時間(最大)1.33s
応答時間(合計)2.44s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)942ms
応答時間(最大)1.12s
応答時間(合計)2.83s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)741ms
応答時間(最大)741ms
応答時間(合計)741ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.13s
応答時間(最大)1.14s
応答時間(合計)2.27s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)972ms
応答時間(最大)1.13s
応答時間(合計)2.92s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.39s
応答時間(最大)3.39s
応答時間(合計)3.39s
|
| #36#36 |
Step 3.5 Flashmedium
|
7.9… |
Stepfun |
$0.000… |
26.78s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 3 不正解: 3
応答時間(平均)26.78s
応答時間(最大)170.45s
応答時間(合計)294.58s
…
|
合計テスト数: 17
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 70.6%
不安定なテスト: 2…
出力トークン: 71,904
推論トークン: 155,607
応答時間: 平均 26.78s · 合計 294.58s · 最大 170.45s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.56s
応答時間(最大)32.30s
応答時間(合計)40.68s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)29.57s
応答時間(最大)29.57s
応答時間(合計)29.57s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.01s
応答時間(最大)15.01s
応答時間(合計)15.01s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)170.45s
応答時間(最大)170.45s
応答時間(合計)170.45s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.54s
応答時間(最大)6.54s
応答時間(合計)6.54s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.98s
応答時間(最大)4.98s
応答時間(合計)4.98s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.72s
応答時間(最大)10.60s
応答時間(合計)15.44s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.91s
応答時間(最大)11.91s
応答時間(合計)11.91s
|
| #37#37 |
DeepSeek V4 Flashhigh
|
7.8… |
DeepSeek |
$0.021… |
47.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3
応答時間(平均)47.47s
応答時間(最大)255.28s
応答時間(合計)854.45s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 79.6%
不安定なテスト: 5…
出力トークン: 1,757
推論トークン: 55,907
応答時間: 平均 47.47s · 合計 854.45s · 最大 255.28s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)28.51s
応答時間(最大)39.73s
応答時間(合計)114.05s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)62.48s
応答時間(最大)62.48s
応答時間(合計)62.48s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)76.57s
応答時間(最大)76.57s
応答時間(合計)76.57s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.03s
応答時間(最大)30.49s
応答時間(合計)56.07s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)112.69s
応答時間(最大)255.28s
応答時間(合計)338.07s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)25.15s
応答時間(最大)25.15s
応答時間(合計)25.15s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.36s
応答時間(最大)19.53s
応答時間(合計)30.73s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)25.53s
応答時間(最大)32.37s
応答時間(合計)76.60s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)74.73s
応答時間(最大)74.73s
応答時間(合計)74.73s
|
| #38#38 |
GLM 5V Turbomedium
|
7.8… |
Z.ai |
$0.291… |
14.96s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)14.96s
応答時間(最大)67.08s
応答時間(合計)269.32s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 77.8%
不安定なテスト: 6…
出力トークン: 2,351
推論トークン: 58,941
応答時間: 平均 14.96s · 合計 269.32s · 最大 67.08s
-
反AIトリック
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)10.76s
応答時間(最大)14.40s
応答時間(合計)43.02s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.78s
応答時間(最大)13.78s
応答時間(合計)13.78s
-
複合
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)15.06s
応答時間(最大)15.06s
応答時間(合計)15.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.60s
応答時間(最大)9.92s
応答時間(合計)19.19s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.15s
応答時間(最大)67.08s
応答時間(合計)114.45s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.09s
応答時間(最大)11.09s
応答時間(合計)11.09s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.74s
応答時間(最大)5.23s
応答時間(合計)7.47s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)10.91s
応答時間(最大)18.97s
応答時間(合計)32.74s
-
ツール呼び出し
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)12.53s
応答時間(最大)12.53s
応答時間(合計)12.53s
|
| #39#39 |
Qwen3.5-Flashmedium
|
7.8… |
Qwen |
$0.080… |
66.72s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 4 API エラー: 1 指示に従っていない: 1 不正解: 1
応答時間(平均)66.72s
応答時間(最大)234.29s
応答時間(合計)1201.03s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 81.5%
不安定なテスト: 6…
出力トークン: 2,073
推論トークン: 191,899
応答時間: 平均 66.72s · 合計 1201.03s · 最大 234.29s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)59.11s
応答時間(最大)168.31s
応答時間(合計)236.44s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)45.75s
応答時間(最大)45.75s
応答時間(合計)45.75s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.78s
応答時間(最大)17.78s
応答時間(合計)17.78s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)56.99s
応答時間(最大)80.14s
応答時間(合計)113.98s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)146.50s
応答時間(最大)234.29s
応答時間(合計)439.49s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)40.05s
応答時間(最大)40.05s
応答時間(合計)40.05s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)63.49s
応答時間(最大)111.61s
応答時間(合計)126.98s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)56.74s
応答時間(最大)115.01s
応答時間(合計)170.23s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.33s
応答時間(最大)10.33s
応答時間(合計)10.33s
|
| #40#40 |
GLM 5.1medium
|
7.8… |
Z.ai |
$0.201… |
24.13s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 タイムアウト: 2 API エラー: 1
応答時間(平均)24.13s
応答時間(最大)118.52s
応答時間(合計)410.25s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 75.9%
不安定なテスト: 3…
出力トークン: 8,005
推論トークン: 49,090
応答時間: 平均 24.13s · 合計 410.25s · 最大 118.52s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.31s
応答時間(最大)14.20s
応答時間(合計)33.24s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)118.52s
応答時間(最大)118.52s
応答時間(合計)118.52s
-
複合
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.11s
応答時間(最大)43.11s
応答時間(合計)43.11s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.33s
応答時間(最大)9.40s
応答時間(合計)18.66s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)29.77s
応答時間(最大)32.22s
応答時間(合計)89.30s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.95s
応答時間(最大)20.95s
応答時間(合計)20.95s
-
指示追従
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.47s
応答時間(最大)10.16s
応答時間(合計)14.94s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)23.85s
応答時間(最大)33.09s
応答時間(合計)71.54s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #41#41 |
MiMo-V2.5medium
|
7.8… |
Xiaomi |
$0.253… |
13.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 2 指示に従っていない: 1 回答なし: 1
応答時間(平均)13.71s
応答時間(最大)86.93s
応答時間(合計)246.73s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 74.1%
不安定なテスト: 3…
出力トークン: 2,840
推論トークン: 116,242
応答時間: 平均 13.71s · 合計 246.73s · 最大 86.93s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.98s
応答時間(最大)3.76s
応答時間(合計)7.92s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.48s
応答時間(最大)31.48s
応答時間(合計)31.48s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)16.86s
応答時間(最大)16.86s
応答時間(合計)16.86s
-
データ解析と抽出
: 2.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)6.33s
応答時間(最大)7.45s
応答時間(合計)12.67s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)34.53s
応答時間(最大)86.93s
応答時間(合計)103.59s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.55s
応答時間(最大)1.55s
応答時間(合計)1.55s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.80s
応答時間(最大)1.81s
応答時間(合計)3.60s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)20.60s
応答時間(最大)57.93s
応答時間(合計)61.79s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.29s
応答時間(最大)7.29s
応答時間(合計)7.29s
|
| #42#42 |
Kimi K2.6medium
|
7.7… |
Moonshot AI |
$0.722… |
45.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 3 タイムアウト: 2 不正解: 2
応答時間(平均)45.20s
応答時間(最大)215.85s
応答時間(合計)768.37s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 74.1%
不安定なテスト: 4…
出力トークン: 80,759
推論トークン: 179,814
応答時間: 平均 45.20s · 合計 768.37s · 最大 215.85s
-
反AIトリック
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)11.59s
応答時間(最大)23.94s
応答時間(合計)46.37s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)106.96s
応答時間(最大)106.96s
応答時間(合計)106.96s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)40.96s
応答時間(最大)40.96s
応答時間(合計)40.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)20.38s
応答時間(最大)22.88s
応答時間(合計)40.76s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2
応答時間(平均)202.38s
応答時間(最大)215.85s
応答時間(合計)404.76s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.83s
応答時間(最大)17.83s
応答時間(合計)17.83s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.53s
応答時間(最大)19.15s
応答時間(合計)25.06s
-
パズル解決
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)25.59s
応答時間(最大)56.89s
応答時間(合計)76.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.92s
応答時間(最大)8.92s
応答時間(合計)8.92s
|
| #43#43 |
MiMo-V2-Omnimedium
|
7.7… |
Xiaomi |
$0.153… |
16.76s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 2 余分な書式: 1 回答なし: 1
応答時間(平均)16.76s
応答時間(最大)158.78s
応答時間(合計)301.61s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 61.1%
不安定なテスト: 0…
出力トークン: 928
推論トークン: 72,661
応答時間: 平均 16.76s · 合計 301.61s · 最大 158.78s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.11s
応答時間(最大)3.43s
応答時間(合計)8.43s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)68.55s
応答時間(最大)68.55s
応答時間(合計)68.55s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)19.29s
応答時間(最大)19.29s
応答時間(合計)19.29s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.29s
応答時間(最大)2.62s
応答時間(合計)4.58s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 回答なし: 1 不正解: 1
応答時間(平均)55.12s
応答時間(最大)158.78s
応答時間(合計)165.36s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.86s
応答時間(最大)2.86s
応答時間(合計)2.86s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.92s
応答時間(最大)7.14s
応答時間(合計)9.83s
-
パズル解決
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.88s
応答時間(最大)8.21s
応答時間(合計)11.65s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.07s
応答時間(最大)11.07s
応答時間(合計)11.07s
|
| #44#44 |
GPT-5.3 Chatnone
|
7.7… |
OpenAI |
$0.340… |
5.88s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 指示に従っていない: 2
応答時間(平均)5.88s
応答時間(最大)18.33s
応答時間(合計)105.90s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 68.5%
不安定なテスト: 3…
出力トークン: 20,784
推論トークン: 0
応答時間: 平均 5.88s · 合計 105.90s · 最大 18.33s
-
反AIトリック
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)3.86s
応答時間(最大)7.35s
応答時間(合計)15.44s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.32s
応答時間(最大)9.32s
応答時間(合計)9.32s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.96s
応答時間(最大)11.96s
応答時間(合計)11.96s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.21s
応答時間(最大)2.52s
応答時間(合計)4.42s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)13.01s
応答時間(最大)18.33s
応答時間(合計)39.04s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.99s
応答時間(最大)1.99s
応答時間(合計)1.99s
-
指示追従
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.29s
応答時間(最大)4.18s
応答時間(合計)6.59s
-
パズル解決
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.93s
応答時間(最大)3.05s
応答時間(合計)8.78s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.36s
応答時間(最大)8.36s
応答時間(合計)8.36s
|
| #45#45 |
Claude Opus 4.6medium
|
7.6… |
Anthropic |
$1.446… |
21.08s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 4 不正解: 2
応答時間(平均)21.08s
応答時間(最大)83.40s
応答時間(合計)231.84s
…
|
合計テスト数: 18
誤答テスト数: 6
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 70.4%
不安定なテスト: 2…
出力トークン: 29,829
推論トークン: 18,938
応答時間: 平均 21.08s · 合計 231.84s · 最大 83.40s
-
反AIトリック
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2
応答時間(平均)7.45s
応答時間(最大)11.88s
応答時間(合計)14.90s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.11s
応答時間(最大)23.11s
応答時間(合計)23.11s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)76.66s
応答時間(最大)76.66s
応答時間(合計)76.66s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.37s
応答時間(最大)7.37s
応答時間(合計)7.37s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)83.40s
応答時間(最大)83.40s
応答時間(合計)83.40s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.04s
応答時間(最大)5.04s
応答時間(合計)5.04s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.43s
応答時間(合計)2.43s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.60s
応答時間(最大)4.66s
応答時間(合計)9.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)9.73s
応答時間(最大)9.73s
応答時間(合計)9.73s
|
| #46#46 |
GPT-5.4 Nanomedium
|
7.6… |
OpenAI |
$0.083… |
11.21s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 3
応答時間(平均)11.21s
応答時間(最大)94.06s
応答時間(合計)201.80s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 68.5%
不安定なテスト: 2…
出力トークン: 2,946
推論トークン: 58,132
応答時間: 平均 11.21s · 合計 201.80s · 最大 94.06s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.52s
応答時間(最大)7.74s
応答時間(合計)18.10s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)13.41s
応答時間(最大)13.41s
応答時間(合計)13.41s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.13s
応答時間(最大)24.13s
応答時間(合計)24.13s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.54s
応答時間(最大)3.33s
応答時間(合計)5.08s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)38.18s
応答時間(最大)94.06s
応答時間(合計)114.53s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.15s
応答時間(最大)4.15s
応答時間(合計)4.15s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.88s
応答時間(最大)2.61s
応答時間(合計)3.75s
-
パズル解決
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)3.65s
応答時間(最大)4.02s
応答時間(合計)10.95s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.71s
応答時間(最大)7.71s
応答時間(合計)7.71s
|
| #47#47 |
Seed-2.0-Minimedium
|
7.5… |
Bytedance Seed |
$0.037… |
69.70s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 4 不正解: 2 指示に従っていない: 1
応答時間(平均)69.70s
応答時間(最大)262.83s
応答時間(合計)1045.47s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 66.7%
不安定なテスト: 2…
出力トークン: 2,419
推論トークン: 79,238
応答時間: 平均 69.70s · 合計 1045.47s · 最大 262.83s
-
反AIトリック
: 6.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)74.75s
応答時間(最大)182.10s
応答時間(合計)298.98s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)197.31s
応答時間(最大)197.31s
応答時間(合計)197.31s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)262.83s
応答時間(最大)262.83s
応答時間(合計)262.83s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.27s
応答時間(最大)27.52s
応答時間(合計)48.54s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 3
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
汎用知能
: 5.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)36.65s
応答時間(最大)36.65s
応答時間(合計)36.65s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.47s
応答時間(最大)19.46s
応答時間(合計)34.93s
-
パズル解決
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.85s
応答時間(最大)32.95s
応答時間(合計)77.55s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.68s
応答時間(最大)88.68s
応答時間(合計)88.68s
|
| #48#48 |
GPT-5.2medium
|
7.5… |
OpenAI |
$0.352… |
14.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 3 不正解: 2 回答なし: 1 タイムアウト: 1
応答時間(平均)14.04s
応答時間(最大)77.80s
応答時間(合計)154.41s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 72.2%
不安定なテスト: 4…
出力トークン: 2,705
推論トークン: 18,977
応答時間: 平均 14.04s · 合計 154.41s · 最大 77.80s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.81s
応答時間(最大)14.34s
応答時間(合計)15.62s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)15.12s
応答時間(最大)15.12s
応答時間(合計)15.12s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.06s
応答時間(最大)14.06s
応答時間(合計)14.06s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.15s
応答時間(最大)3.15s
応答時間(合計)3.15s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)77.80s
応答時間(最大)77.80s
応答時間(合計)77.80s
-
汎用知能
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.32s
応答時間(最大)4.32s
応答時間(合計)4.32s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.12s
応答時間(最大)3.12s
応答時間(合計)3.12s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.47s
応答時間(最大)6.45s
応答時間(合計)10.94s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)10.30s
応答時間(最大)10.30s
応答時間(合計)10.30s
|
| #49#49 |
MiMo-V2-Flashmedium
|
7.5… |
Xiaomi |
$0.038… |
23.36s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1 余分な書式: 1 指示に従っていない: 1 タイムアウト: 1
応答時間(平均)23.36s
応答時間(最大)96.01s
応答時間(合計)280.34s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 70.4%
不安定なテスト: 3…
出力トークン: 12,387
推論トークン: 115,182
応答時間: 平均 23.36s · 合計 280.34s · 最大 96.01s
-
反AIトリック
: 8.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)15.85s
応答時間(最大)20.83s
応答時間(合計)47.55s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)13.03s
応答時間(最大)13.03s
応答時間(合計)13.03s
-
複合
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)75.68s
応答時間(最大)75.68s
応答時間(合計)75.68s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)96.01s
応答時間(最大)96.01s
応答時間(合計)96.01s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.20s
応答時間(最大)4.20s
応答時間(合計)4.20s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.28s
応答時間(最大)7.37s
応答時間(合計)8.55s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.77s
応答時間(最大)5.26s
応答時間(合計)7.55s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.78s
応答時間(最大)27.78s
応答時間(合計)27.78s
|
| #50#50 |
Claude Sonnet 4.6none
|
7.4… |
Anthropic |
$0.262… |
4.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 3 不正解: 3 指示に従っていない: 1
応答時間(平均)4.98s
応答時間(最大)23.84s
応答時間(合計)54.83s
…
|
合計テスト数: 18
誤答テスト数: 7
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 64.8%
不安定なテスト: 1…
出力トークン: 7,433
推論トークン: 0
応答時間: 平均 4.98s · 合計 54.83s · 最大 23.84s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)2.94s
応答時間(最大)4.83s
応答時間(合計)5.88s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.67s
応答時間(最大)3.67s
応答時間(合計)3.67s
-
複合
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.84s
応答時間(最大)23.84s
応答時間(合計)23.84s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.43s
応答時間(最大)3.43s
応答時間(合計)3.43s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.54s
応答時間(最大)3.54s
応答時間(合計)3.54s
-
汎用知能
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.56s
応答時間(最大)2.56s
応答時間(合計)2.56s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.96s
応答時間(最大)1.96s
応答時間(合計)1.96s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.92s
応答時間(最大)3.33s
応答時間(合計)5.84s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.11s
応答時間(最大)4.11s
応答時間(合計)4.11s
|
| #51#51 |
Qwen3.5-35B-A3Bmedium
|
7.4… |
Qwen |
$0.398… |
44.51s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 4 不正解: 2 API エラー: 1 回答なし: 1
応答時間(平均)44.51s
応答時間(最大)106.00s
応答時間(合計)801.21s
…
|
合計テスト数: 18
誤答テスト数: 8
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 79.6%
不安定なテスト: 7…
出力トークン: 10,137
推論トークン: 208,761
応答時間: 平均 44.51s · 合計 801.21s · 最大 106.00s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)21.13s
応答時間(最大)34.96s
応答時間(合計)84.53s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)79.09s
応答時間(最大)79.09s
応答時間(合計)79.09s
-
複合
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)75.34s
応答時間(最大)75.34s
応答時間(合計)75.34s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)59.33s
応答時間(最大)97.12s
応答時間(合計)118.65s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)88.34s
応答時間(最大)106.00s
応答時間(合計)265.01s
-
汎用知能
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)30.30s
応答時間(最大)30.30s
応答時間(合計)30.30s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)24.45s
応答時間(最大)43.36s
応答時間(合計)48.89s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)31.58s
応答時間(最大)60.18s
応答時間(合計)94.75s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.65s
応答時間(最大)4.65s
応答時間(合計)4.65s
|
| #52#52 |
GPT-5.4 Minimedium
|
7.3… |
OpenAI |
$0.299… |
15.22s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 5 不正解: 4
応答時間(平均)15.22s
応答時間(最大)102.91s
応答時間(合計)273.90s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 70.4%
不安定なテスト: 6…
出力トークン: 2,131
推論トークン: 59,567
応答時間: 平均 15.22s · 合計 273.90s · 最大 102.91s
-
反AIトリック
: 8.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.05s
応答時間(最大)6.69s
応答時間(合計)16.20s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.76s
応答時間(最大)7.76s
応答時間(合計)7.76s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.81s
応答時間(最大)17.81s
応答時間(合計)17.81s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)3.39s
応答時間(合計)4.87s
-
ドメイン特化
: 4.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)65.31s
応答時間(最大)102.91s
応答時間(合計)195.92s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.72s
応答時間(最大)3.72s
応答時間(合計)3.72s
-
指示追従
: 7.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.55s
応答時間(合計)5.00s
-
パズル解決
: 6.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)4.33s
応答時間(最大)7.27s
応答時間(合計)13.00s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)9.62s
応答時間(最大)9.62s
応答時間(合計)9.62s
|
| #53#53 |
GPT-5 Minimedium
|
7.0… |
OpenAI |
$0.128… |
23.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 4 タイムアウト: 1
応答時間(平均)23.98s
応答時間(最大)88.15s
応答時間(合計)431.56s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 61.1%
不安定なテスト: 3…
出力トークン: 6,379
推論トークン: 53,482
応答時間: 平均 23.98s · 合計 431.56s · 最大 88.15s
-
反AIトリック
: 7.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)13.86s
応答時間(最大)26.00s
応答時間(合計)55.45s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.18s
応答時間(最大)23.18s
応答時間(合計)23.18s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)88.15s
応答時間(最大)88.15s
応答時間(合計)88.15s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)12.58s
応答時間(最大)13.87s
応答時間(合計)25.16s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)44.63s
応答時間(最大)82.55s
応答時間(合計)133.89s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.50s
応答時間(最大)13.50s
応答時間(合計)13.50s
-
指示追従
: 8.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)15.66s
応答時間(最大)21.80s
応答時間(合計)31.32s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)14.09s
応答時間(最大)16.81s
応答時間(合計)42.28s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.64s
応答時間(最大)18.64s
応答時間(合計)18.64s
|
| #54#54 |
Kimi K2.5medium
|
7.0… |
Moonshot AI |
$0.220… |
72.43s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 タイムアウト: 2 回答なし: 1
応答時間(平均)72.43s
応答時間(最大)150.77s
応答時間(合計)796.70s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 72.2%
不安定なテスト: 7…
出力トークン: 42,176
推論トークン: 84,870
応答時間: 平均 72.43s · 合計 796.70s · 最大 150.77s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)51.38s
応答時間(最大)85.28s
応答時間(合計)102.75s
-
コーディング
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)150.77s
応答時間(最大)150.77s
応答時間(合計)150.77s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)71.37s
応答時間(最大)71.37s
応答時間(合計)71.37s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)49.78s
応答時間(最大)49.78s
応答時間(合計)49.78s
-
ドメイン特化
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)137.29s
応答時間(最大)137.29s
応答時間(合計)137.29s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)69.73s
応答時間(最大)69.73s
応答時間(合計)69.73s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)92.47s
応答時間(最大)92.47s
応答時間(合計)92.47s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)45.40s
応答時間(最大)82.75s
応答時間(合計)90.79s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)31.74s
応答時間(最大)31.74s
応答時間(合計)31.74s
|
| #55#55 |
Grok 4.20medium
|
7.0… |
X AI |
$0.743… |
10.33s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 3 API エラー: 1 余分な書式: 1
応答時間(平均)10.33s
応答時間(最大)29.87s
応答時間(合計)185.87s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 66.7%
不安定なテスト: 5…
出力トークン: 1,744
推論トークン: 109,882
応答時間: 平均 10.33s · 合計 185.87s · 最大 29.87s
-
反AIトリック
: 8.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.36s
応答時間(最大)4.08s
応答時間(合計)13.42s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)24.33s
応答時間(最大)24.33s
応答時間(合計)24.33s
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.40s
応答時間(最大)17.40s
応答時間(合計)17.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.17s
応答時間(最大)5.02s
応答時間(合計)8.34s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)27.03s
応答時間(最大)29.87s
応答時間(合計)81.10s
-
汎用知能
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.09s
応答時間(最大)7.09s
応答時間(合計)7.09s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)4.42s
応答時間(最大)4.46s
応答時間(合計)8.84s
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2
応答時間(平均)3.89s
応答時間(最大)4.90s
応答時間(合計)11.67s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)13.68s
応答時間(最大)13.68s
応答時間(合計)13.68s
|
| #56#56 |
Gemma 4 31Bnone
|
6.9… |
Google |
$0.003… |
4.02s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 5 API エラー: 2 指示に従っていない: 1
応答時間(平均)4.02s
応答時間(最大)26.13s
応答時間(合計)64.33s
…
|
合計テスト数: 18
誤答テスト数: 8
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 55.6%
不安定なテスト: 0…
出力トークン: 1,359
推論トークン: 0
応答時間: 平均 4.02s · 合計 64.33s · 最大 26.13s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.85s
応答時間(最大)4.45s
応答時間(合計)7.40s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)26.13s
応答時間(最大)26.13s
応答時間(合計)26.13s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.25s
応答時間(最大)3.02s
応答時間(合計)4.51s
-
ドメイン特化
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.22s
応答時間(最大)4.68s
応答時間(合計)9.67s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.09s
応答時間(最大)2.09s
応答時間(合計)2.09s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.84s
応答時間(最大)4.45s
応答時間(合計)5.68s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.95s
応答時間(最大)4.05s
応答時間(合計)8.85s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #57#57 |
Qwen3.5 Plus 2026-02-15none
|
6.8… |
Qwen |
$0.017… |
2.60s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9
応答時間(平均)2.60s
応答時間(最大)6.65s
応答時間(合計)31.23s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 53.7%
不安定なテスト: 2…
出力トークン: 2,461
推論トークン: 0
応答時間: 平均 2.60s · 合計 31.23s · 最大 6.65s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.91s
応答時間(最大)2.74s
応答時間(合計)3.82s
-
コーディング
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.63s
応答時間(最大)3.63s
応答時間(合計)3.63s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.65s
応答時間(最大)6.65s
応答時間(合計)6.65s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.89s
応答時間(最大)1.89s
応答時間(合計)1.89s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.17s
応答時間(最大)1.44s
応答時間(合計)2.33s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.26s
応答時間(最大)2.26s
応答時間(合計)2.26s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.67s
応答時間(最大)1.67s
応答時間(合計)1.67s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.82s
応答時間(最大)3.52s
応答時間(合計)5.65s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.33s
応答時間(最大)3.33s
応答時間(合計)3.33s
|
| #58#58 |
GPT-5.5none
|
6.8… |
OpenAI |
$0.195… |
1.83s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 指示に従っていない: 1
応答時間(平均)1.83s
応答時間(最大)5.56s
応答時間(合計)32.86s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 61.1%
不安定なテスト: 4…
出力トークン: 1,910
推論トークン: 0
応答時間: 平均 1.83s · 合計 32.86s · 最大 5.56s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.31s
応答時間(最大)2.08s
応答時間(合計)5.25s
-
コーディング
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.56s
応答時間(最大)5.56s
応答時間(合計)5.56s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.18s
応答時間(最大)1.24s
応答時間(合計)2.37s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.31s
応答時間(最大)1.39s
応答時間(合計)3.92s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.41s
応答時間(最大)3.41s
応答時間(合計)3.41s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.15s
応答時間(最大)1.19s
応答時間(合計)2.31s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.36s
応答時間(最大)1.56s
応答時間(合計)4.09s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.90s
応答時間(最大)3.90s
応答時間(合計)3.90s
|
| #59#59 |
Hunter Alphamediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
6.7… |
OpenRouter |
$0.000… |
10.33s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 タイムアウト: 2 API エラー: 1 余分な書式: 1
応答時間(平均)10.33s
応答時間(最大)30.53s
応答時間(合計)175.60s
…
|
合計テスト数: 18
誤答テスト数: 10
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 64.8%
不安定なテスト: 6…
出力トークン: 4,724
推論トークン: 17,921
応答時間: 平均 10.33s · 合計 175.60s · 最大 30.53s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.75s
応答時間(最大)7.62s
応答時間(合計)19.00s
-
コーディング
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)30.53s
応答時間(最大)30.53s
応答時間(合計)30.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.16s
応答時間(最大)26.55s
応答時間(合計)46.33s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)10.52s
応答時間(最大)18.68s
応答時間(合計)31.56s
-
汎用知能
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.44s
応答時間(最大)6.44s
応答時間(合計)6.44s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.18s
応答時間(最大)4.46s
応答時間(合計)8.36s
-
パズル解決
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.36s
応答時間(最大)6.20s
応答時間(合計)16.07s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.33s
応答時間(最大)17.33s
応答時間(合計)17.33s
|
| #60#60 |
Nemotron 3 Supermedium
|
6.7… |
NVIDIA |
$0.000… |
19.06s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 3 API エラー: 1 タイムアウト: 1
応答時間(平均)19.06s
応答時間(最大)87.80s
応答時間(合計)305.04s
…
|
合計テスト数: 18
誤答テスト数: 9
信頼性: 該当なしこのモデルの信頼性テレメトリは利用できないか、不完全です。
試行ごとの合格率: 55.6%
不安定なテスト: 3…
出力トークン: 11,947
推論トークン: 29,768
応答時間: 平均 19.06s · 合計 305.04s · 最大 87.80s
-
反AIトリック
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)10.08s
応答時間(最大)22.30s
応答時間(合計)40.30s
-
コーディング
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)87.80s
応答時間(最大)87.80s
応答時間(合計)87.80s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)18.16s
応答時間(最大)20.65s
応答時間(合計)36.33s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 タイムアウト: 1
応答時間(平均)16.19s
応答時間(最大)21.56s
応答時間(合計)32.39s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)27.86s
応答時間(最大)27.86s
応答時間(合計)27.86s
-
指示追従
: 7.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)7.72s
応答時間(最大)11.23s
応答時間(合計)15.45s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)8.39s
応答時間(最大)16.73s
応答時間(合計)25.18s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)39.75s
応答時間(最大)39.75s
応答時間(合計)39.75s
|