| #257#257 |
Laguna M.1mediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
Poolside |
$0.033
↕
…
|
14.73s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 4 不正解: 4 指示に従っていない: 1 回答なし: 1
応答時間(平均)14.73s
応答時間(最大)53.14s
応答時間(合計)220.93s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 44,969
- 出力トークン
- 58,087
- 推論トークン
- 0
- 応答時間(平均)
- 14.73s
- 応答時間(合計)
- 220.93s
- 応答時間(最大)
- 53.14s
-
反AIトリック
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)4.87s
応答時間(最大)6.30s
応答時間(合計)14.62s
-
コーディング
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)35.61s
応答時間(最大)35.61s
応答時間(合計)35.61s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)53.14s
応答時間(最大)53.14s
応答時間(合計)53.14s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.93s
応答時間(最大)5.03s
応答時間(合計)9.86s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)24.14s
応答時間(最大)45.83s
応答時間(合計)72.43s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.30s
応答時間(最大)6.00s
応答時間(合計)8.59s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)10.19s
応答時間(最大)14.92s
応答時間(合計)20.37s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.31s
応答時間(最大)6.31s
応答時間(合計)6.31s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #256#256 |
Grok 4.1 Fastmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
X AI |
$0.069
↑
…
|
23.85s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 4 不正解: 4 回答なし: 1 タイムアウト: 1
応答時間(平均)23.85s
応答時間(最大)121.79s
応答時間(合計)286.16s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 42,845
- 出力トークン
- 2,006
- 推論トークン
- 96,334
- 応答時間(平均)
- 23.85s
- 応答時間(合計)
- 286.16s
- 応答時間(最大)
- 121.79s
-
反AIトリック
: 8.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.81s
応答時間(最大)5.65s
応答時間(合計)7.62s
-
コーディング
: 7.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)23.58s
応答時間(最大)23.58s
応答時間(合計)23.58s
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)37.64s
応答時間(最大)37.64s
応答時間(合計)37.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.63s
応答時間(最大)6.63s
応答時間(合計)6.63s
-
ドメイン特化
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1 不正解: 1
応答時間(平均)121.79s
応答時間(最大)121.79s
応答時間(合計)121.79s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.25s
応答時間(最大)16.25s
応答時間(合計)16.25s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.63s
応答時間(最大)4.63s
応答時間(合計)4.63s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)7.40s
応答時間(最大)7.79s
応答時間(合計)14.81s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1
応答時間(平均)27.71s
応答時間(最大)27.71s
応答時間(合計)27.71s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)25.52s
応答時間(最大)25.52s
応答時間(合計)25.52s
|
| #255#255 |
Hunter Alphamediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.7… |
OpenRouter |
$0.000
…
|
10.33s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 指示に従っていない: 2 タイムアウト: 2 API エラー: 1 余分な書式: 1
応答時間(平均)10.33s
応答時間(最大)30.53s
応答時間(合計)175.58s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 10
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 53.0%
- 入力トークン
- 28,927
- 出力トークン
- 4,682
- 推論トークン
- 17,969
- 応答時間(平均)
- 10.33s
- 応答時間(合計)
- 175.58s
- 応答時間(最大)
- 30.53s
-
反AIトリック
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.75s
応答時間(最大)7.62s
応答時間(合計)19.00s
-
コーディング
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 2.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 1
応答時間(平均)30.53s
応答時間(最大)30.53s
応答時間(合計)30.53s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)23.16s
応答時間(最大)26.55s
応答時間(合計)46.33s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 タイムアウト: 1 不正解: 1
応答時間(平均)10.52s
応答時間(最大)18.68s
応答時間(合計)31.56s
-
汎用知能
: 7.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.44s
応答時間(最大)6.44s
応答時間(合計)6.44s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.18s
応答時間(最大)4.46s
応答時間(合計)8.36s
-
パズル解決
: 6.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.35s
応答時間(最大)6.20s
応答時間(合計)16.06s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)17.33s
応答時間(最大)17.33s
応答時間(合計)17.33s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #254#254 |
Trinity Large Previewnone63/66 回 (目標: テストごとに 3 回)
|
4.8… |
Arcee AI |
$0.008
↑
…
|
2.98s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 指示に従っていない: 3 API エラー: 2
応答時間(平均)2.98s
応答時間(最大)14.34s
応答時間(合計)56.57s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 17
- 試行ごとの合格率
- 21.2%
- 入力トークン
- 29,828
- 出力トークン
- 2,169
- 推論トークン
- 0
- 応答時間(平均)
- 2.98s
- 応答時間(合計)
- 56.57s
- 応答時間(最大)
- 14.34s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.07s
応答時間(最大)4.40s
応答時間(合計)8.30s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2 不正解: 1
応答時間(平均)14.34s
応答時間(最大)14.34s
応答時間(合計)14.34s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.91s
応答時間(最大)8.91s
応答時間(合計)8.91s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.26s
応答時間(最大)4.66s
応答時間(合計)6.52s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)877ms
応答時間(最大)894ms
応答時間(合計)2.63s
-
汎用知能
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)873ms
応答時間(最大)873ms
応答時間(合計)873ms
-
指示追従
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)822ms
応答時間(最大)960ms
応答時間(合計)1.64s
-
パズル解決
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.97s
応答時間(最大)2.87s
応答時間(合計)5.91s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)6.67s
応答時間(最大)6.67s
応答時間(合計)6.67s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)777ms
応答時間(最大)777ms
応答時間(合計)777ms
|
| #253#253 |
GLM 4.7 Flashnone
|
4.8… |
Z.ai |
$0.016
…
|
8.81s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)8.81s
応答時間(最大)97.15s
応答時間(合計)140.88s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 101,513
- 出力トークン
- 22,992
- 推論トークン
- 0
- 応答時間(平均)
- 8.81s
- 応答時間(合計)
- 140.88s
- 応答時間(最大)
- 97.15s
-
反AIトリック
: 5.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.51s
応答時間(最大)6.59s
応答時間(合計)11.02s
-
コーディング
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.54s
応答時間(最大)5.57s
応答時間(合計)7.62s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)50.18s
応答時間(最大)97.15s
応答時間(合計)100.36s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.82s
応答時間(最大)4.82s
応答時間(合計)4.82s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)2.22s
応答時間(最大)3.70s
応答時間(合計)4.44s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.59s
応答時間(最大)1.59s
応答時間(合計)1.59s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)888ms
応答時間(最大)888ms
応答時間(合計)888ms
-
パズル解決
: 6.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.20s
応答時間(最大)1.27s
応答時間(合計)2.39s
-
ツール呼び出し
: 2.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.05s
応答時間(最大)7.05s
応答時間(合計)7.05s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)692ms
応答時間(最大)692ms
応答時間(合計)692ms
|
| #252#252 |
KAT-Coder-Air V2.5none
|
4.8… |
Kwaipilot |
$0.070
…
|
12.46s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 3 API エラー: 1
応答時間(平均)12.46s
応答時間(最大)121.05s
応答時間(合計)274.11s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 36.4%
- 入力トークン
- 69,376
- 出力トークン
- 97,752
- 推論トークン
- 0
- 応答時間(平均)
- 12.46s
- 応答時間(合計)
- 274.11s
- 応答時間(最大)
- 121.05s
-
反AIトリック
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.68s
応答時間(最大)5.78s
応答時間(合計)10.73s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 1
応答時間(平均)14.31s
応答時間(最大)21.40s
応答時間(合計)42.94s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)73.00s
応答時間(最大)121.05s
応答時間(合計)146.00s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)2.66s
応答時間(最大)2.69s
応答時間(合計)5.33s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)8.33s
応答時間(最大)8.97s
応答時間(合計)25.00s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)12.02s
応答時間(最大)12.02s
応答時間(合計)12.02s
-
指示追従
: 9.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.75s
応答時間(最大)2.06s
応答時間(合計)3.50s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.84s
応答時間(最大)2.06s
応答時間(合計)5.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.13s
応答時間(最大)5.13s
応答時間(合計)5.13s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.96s
応答時間(最大)17.96s
応答時間(合計)17.96s
|
| #251#251 |
Grok 4.20 Multi Agent Betamediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.8… |
X AI |
$5.599
↑
…
|
9.69s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4 API エラー: 2 余分な書式: 2 指示に従っていない: 2
応答時間(平均)9.69s
応答時間(最大)35.28s
応答時間(合計)155.07s
…
|
- 合計テスト数
- 18
- 誤答テスト数
- 10
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 48.5%
- 入力トークン
- 721,952
- 出力トークン
- 294,668
- 推論トークン
- 305,374
- 応答時間(平均)
- 9.69s
- 応答時間(合計)
- 155.07s
- 応答時間(最大)
- 35.28s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)3.46s
応答時間(最大)4.38s
応答時間(合計)13.86s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.11s
応答時間(最大)27.11s
応答時間(合計)27.11s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.54s
応答時間(最大)7.51s
応答時間(合計)11.08s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)24.67s
応答時間(最大)35.28s
応答時間(合計)74.02s
-
汎用知能
: 5.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)6.40s
応答時間(最大)6.40s
応答時間(合計)6.40s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.52s
応答時間(最大)3.80s
応答時間(合計)7.04s
-
パズル解決
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)5.19s
応答時間(最大)5.49s
応答時間(合計)15.57s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #250#250 |
Trinity Large Thinkinghigh
|
4.8… |
Arcee AI |
$0.624
…
|
75.86s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 10 指示に従っていない: 4 無効なツール呼び出し: 2 回答なし: 1
応答時間(平均)75.86s
応答時間(最大)510.21s
応答時間(合計)1668.93s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 39.4%
- 入力トークン
- 101,776
- 出力トークン
- 276,367
- 推論トークン
- 656,252
- 応答時間(平均)
- 75.86s
- 応答時間(合計)
- 1668.93s
- 応答時間(最大)
- 510.21s
-
反AIトリック
: 6.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)4.13s
応答時間(最大)8.33s
応答時間(合計)16.53s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 回答なし: 1 不正解: 1
応答時間(平均)245.04s
応答時間(最大)510.21s
応答時間(合計)735.13s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)262.39s
応答時間(最大)419.41s
応答時間(合計)524.77s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)13.98s
応答時間(最大)20.06s
応答時間(合計)27.96s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)66.94s
応答時間(最大)118.63s
応答時間(合計)200.81s
-
汎用知能
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.90s
応答時間(最大)12.90s
応答時間(合計)12.90s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.12s
応答時間(最大)4.57s
応答時間(合計)8.24s
-
パズル解決
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)3.84s
応答時間(最大)6.38s
応答時間(合計)11.51s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.96s
応答時間(最大)5.96s
応答時間(合計)5.96s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)125.13s
応答時間(最大)125.13s
応答時間(合計)125.13s
|
| #249#249 |
GPT-5.4 Nanonone
|
4.8… |
OpenAI |
$0.041
…
|
2.56s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2 回答なし: 1
応答時間(平均)2.56s
応答時間(最大)25.50s
応答時間(合計)56.37s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 115,933
- 出力トークン
- 13,794
- 推論トークン
- 0
- 応答時間(平均)
- 2.56s
- 応答時間(合計)
- 56.37s
- 応答時間(最大)
- 25.50s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.18s
応答時間(最大)1.81s
応答時間(合計)4.70s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.22s
応答時間(最大)4.47s
応答時間(合計)6.65s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)14.67s
応答時間(最大)25.50s
応答時間(合計)29.34s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.25s
応答時間(合計)2.23s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)880ms
応答時間(最大)959ms
応答時間(合計)2.64s
-
汎用知能
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)1.31s
応答時間(最大)1.31s
応答時間(合計)1.31s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)784ms
応答時間(最大)859ms
応答時間(合計)1.57s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.25s
応答時間(最大)1.53s
応答時間(合計)3.76s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.40s
応答時間(最大)3.40s
応答時間(合計)3.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)773ms
応答時間(最大)773ms
応答時間(合計)773ms
|
| #248#248 |
Nemotron 3.5 Lightninglow
|
4.8… |
NVIDIA |
$0.175
↕
…
|
59.81s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 1
応答時間(平均)59.81s
応答時間(最大)312.21s
応答時間(合計)1315.80s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 42.4%
- 入力トークン
- 138,792
- 出力トークン
- 142,972
- 推論トークン
- 522,202
- 応答時間(平均)
- 59.81s
- 応答時間(合計)
- 1315.80s
- 応答時間(最大)
- 312.21s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)14.82s
応答時間(最大)27.06s
応答時間(合計)59.28s
-
コーディング
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)224.42s
応答時間(最大)312.21s
応答時間(合計)673.27s
-
複合
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)142.36s
応答時間(最大)259.10s
応答時間(合計)284.72s
-
データ解析と抽出
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)31.32s
応答時間(最大)39.86s
応答時間(合計)62.64s
-
ドメイン特化
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)52.66s
応答時間(最大)123.93s
応答時間(合計)157.97s
-
汎用知能
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.61s
応答時間(最大)4.61s
応答時間(合計)4.61s
-
指示追従
: 8.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)5.46s
応答時間(最大)7.47s
応答時間(合計)10.92s
-
パズル解決
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.21s
応答時間(最大)11.28s
応答時間(合計)18.64s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.08s
応答時間(最大)5.08s
応答時間(合計)5.08s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)38.68s
応答時間(最大)38.68s
応答時間(合計)38.68s
|
| #247#247 |
Ring-2.6-1Tnone
|
4.8… |
Inclusionai |
$0.026
↑
…
|
51.99s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 6 不正解: 5 指示に従っていない: 2
応答時間(平均)51.99s
応答時間(最大)143.82s
応答時間(合計)831.90s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 13
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 7,608
- 出力トークン
- 40,277
- 推論トークン
- 0
- 応答時間(平均)
- 51.99s
- 応答時間(合計)
- 831.90s
- 応答時間(最大)
- 143.82s
-
反AIトリック
: 9.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)43.33s
応答時間(最大)71.76s
応答時間(合計)173.31s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)143.82s
応答時間(最大)143.82s
応答時間(合計)143.82s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
データ解析と抽出
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 不正解: 1
応答時間(平均)45.87s
応答時間(最大)45.87s
応答時間(合計)45.87s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)56.85s
応答時間(最大)90.09s
応答時間(合計)170.54s
-
汎用知能
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)15.63s
応答時間(最大)15.63s
応答時間(合計)15.63s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)27.36s
応答時間(最大)40.24s
応答時間(合計)54.72s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)31.47s
応答時間(最大)46.84s
応答時間(合計)94.41s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)133.60s
応答時間(最大)133.60s
応答時間(合計)133.60s
|
| #246#246 |
Nemotron 3 Supernone
|
4.8… |
NVIDIA |
$0.008
↑
…
|
6.04s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2
応答時間(平均)6.04s
応答時間(最大)20.00s
応答時間(合計)132.96s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 63,528
- 出力トークン
- 6,432
- 推論トークン
- 0
- 応答時間(平均)
- 6.04s
- 応答時間(合計)
- 132.96s
- 応答時間(最大)
- 20.00s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)4.46s
応答時間(最大)9.94s
応答時間(合計)17.83s
-
コーディング
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.64s
応答時間(最大)3.05s
応答時間(合計)7.92s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)18.22s
応答時間(最大)20.00s
応答時間(合計)36.45s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.92s
応答時間(最大)13.23s
応答時間(合計)15.84s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)6.78s
応答時間(最大)14.38s
応答時間(合計)20.34s
-
汎用知能
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)950ms
応答時間(最大)950ms
応答時間(合計)950ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)804ms
応答時間(最大)921ms
応答時間(合計)1.61s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.36s
応答時間(最大)3.27s
応答時間(合計)7.07s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)16.00s
応答時間(最大)16.00s
応答時間(合計)16.00s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.94s
応答時間(最大)8.94s
応答時間(合計)8.94s
|
| #245#245 |
Ling-2.6-flashnone
|
4.9… |
Inclusionai |
$0.002
↑
…
|
10.71s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 9 無効なツール呼び出し: 3 API エラー: 2 指示に従っていない: 2
応答時間(平均)10.71s
応答時間(最大)36.03s
応答時間(合計)214.28s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 114,384
- 出力トークン
- 14,903
- 推論トークン
- 0
- 応答時間(平均)
- 10.71s
- 応答時間(合計)
- 214.28s
- 応答時間(最大)
- 36.03s
-
反AIトリック
: 6.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)11.81s
応答時間(最大)16.60s
応答時間(合計)47.23s
-
コーディング
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)11.21s
応答時間(最大)11.21s
応答時間(合計)11.21s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)35.69s
応答時間(最大)36.03s
応答時間(合計)71.38s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)8.48s
応答時間(最大)12.71s
応答時間(合計)16.96s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.20s
応答時間(最大)7.65s
応答時間(合計)15.60s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.45s
応答時間(最大)1.45s
応答時間(合計)1.45s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.52s
応答時間(最大)8.19s
応答時間(合計)11.04s
-
パズル解決
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)6.51s
応答時間(最大)17.06s
応答時間(合計)19.54s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)18.80s
応答時間(最大)18.80s
応答時間(合計)18.80s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.06s
応答時間(最大)1.06s
応答時間(合計)1.06s
|
| #244#244 |
Qwen3.6 Plus Previewmediumアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
4.9… |
Qwen |
$0.000
…
|
15.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 8 不正解: 2
応答時間(平均)15.25s
応答時間(最大)43.55s
応答時間(合計)182.96s
…
|
- 合計テスト数
- 19
- 誤答テスト数
- 10
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 40.9%
- 入力トークン
- 32,639
- 出力トークン
- 1,153
- 推論トークン
- 62,197
- 応答時間(平均)
- 15.25s
- 応答時間(合計)
- 182.96s
- 応答時間(最大)
- 43.55s
-
反AIトリック
: 8.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)11.69s
応答時間(最大)19.37s
応答時間(合計)35.08s
-
コーディング
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)34.95s
応答時間(最大)34.95s
応答時間(合計)34.95s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)14.95s
応答時間(最大)15.40s
応答時間(合計)29.90s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 API エラー: 1
応答時間(平均)22.08s
応答時間(最大)43.55s
応答時間(合計)66.23s
-
汎用知能
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)3.40s
応答時間(最大)3.40s
応答時間(合計)3.40s
-
パズル解決
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 2
応答時間(平均)7.52s
応答時間(最大)7.52s
応答時間(合計)7.52s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.87s
応答時間(最大)5.87s
応答時間(合計)5.87s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|
| #243#243 |
GPT-4o-mininone
|
5.0… |
OpenAI |
$0.010
…
|
1.92s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 1 回答なし: 1
応答時間(平均)1.92s
応答時間(最大)7.58s
応答時間(合計)30.71s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 22.7%
- 入力トークン
- 53,145
- 出力トークン
- 2,913
- 推論トークン
- 0
- 応答時間(平均)
- 1.92s
- 応答時間(合計)
- 30.71s
- 応答時間(最大)
- 7.58s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.34s
応答時間(最大)1.83s
応答時間(合計)2.67s
-
コーディング
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.63s
応答時間(最大)2.55s
応答時間(合計)4.90s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)6.32s
応答時間(最大)7.58s
応答時間(合計)12.64s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)743ms
応答時間(最大)848ms
応答時間(合計)1.49s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)909ms
応答時間(最大)909ms
応答時間(合計)909ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.11s
応答時間(最大)1.11s
応答時間(合計)1.11s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)1.21s
応答時間(最大)1.37s
応答時間(合計)2.42s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.51s
応答時間(最大)2.51s
応答時間(合計)2.51s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)794ms
応答時間(最大)794ms
応答時間(合計)794ms
|
| #242#242 |
DeepSeek V3.2none
|
5.0… |
DeepSeek |
$0.054
↑
…
|
17.89s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 8 API エラー: 3 余分な書式: 2 無効なツール呼び出し: 2 指示に従っていない: 1
応答時間(平均)17.89s
応答時間(最大)115.89s
応答時間(合計)393.53s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 36.4%
- 入力トークン
- 135,831
- 出力トークン
- 42,099
- 推論トークン
- 0
- 応答時間(平均)
- 17.89s
- 応答時間(合計)
- 393.53s
- 応答時間(最大)
- 115.89s
-
反AIトリック
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 API エラー: 1 不正解: 1
応答時間(平均)9.35s
応答時間(最大)16.77s
応答時間(合計)37.40s
-
コーディング
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)14.54s
応答時間(最大)34.11s
応答時間(合計)43.62s
-
複合
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)113.53s
応答時間(最大)115.89s
応答時間(合計)227.06s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)9.42s
応答時間(最大)16.20s
応答時間(合計)18.84s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.48s
応答時間(最大)1.77s
応答時間(合計)4.44s
-
汎用知能
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)9.32s
応答時間(最大)9.32s
応答時間(合計)9.32s
-
指示追従
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.52s
応答時間(最大)1.99s
応答時間(合計)3.04s
-
パズル解決
: 7.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)6.91s
応答時間(最大)10.09s
応答時間(合計)20.74s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)11.85s
応答時間(最大)11.85s
応答時間(合計)11.85s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)17.23s
応答時間(最大)17.23s
応答時間(合計)17.23s
|
| #241#241 |
Laguna S 2.1low
|
5.0… |
Poolside |
$0.082
↓
…
|
85.34s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 API エラー: 1 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)85.34s
応答時間(最大)814.73s
応答時間(合計)1877.49s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 19
- 試行ごとの合格率
- 22.7%
- 入力トークン
- 118,752
- 出力トークン
- 67,823
- 推論トークン
- 383,885
- 応答時間(平均)
- 85.34s
- 応答時間(合計)
- 1877.49s
- 応答時間(最大)
- 814.73s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 API エラー: 1
応答時間(平均)80.66s
応答時間(最大)321.43s
応答時間(合計)322.64s
-
コーディング
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)167.51s
応答時間(最大)270.36s
応答時間(合計)502.52s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)412.50s
応答時間(最大)814.73s
応答時間(合計)824.99s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.76s
応答時間(最大)4.89s
応答時間(合計)5.51s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.46s
応答時間(最大)6.68s
応答時間(合計)7.39s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)650ms
応答時間(最大)650ms
応答時間(合計)650ms
-
指示追従
: 4.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)423ms
応答時間(最大)435ms
応答時間(合計)845ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)2.70s
応答時間(最大)6.77s
応答時間(合計)8.10s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.36s
応答時間(最大)2.36s
応答時間(合計)2.36s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)202.49s
応答時間(最大)202.49s
応答時間(合計)202.49s
|
| #240#240 |
MiniMax M2.7medium
|
5.0… |
Minimax |
$0.208
…
|
43.25s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 6 指示に従っていない: 5 回答なし: 2 タイムアウト: 2 API エラー: 1 無効なツール呼び出し: 1
応答時間(平均)43.25s
応答時間(最大)196.21s
応答時間(合計)908.21s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 45.5%
- 入力トークン
- 114,527
- 出力トークン
- 18,558
- 推論トークン
- 129,146
- 応答時間(平均)
- 43.25s
- 応答時間(合計)
- 908.21s
- 応答時間(最大)
- 196.21s
-
反AIトリック
: 7.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)40.32s
応答時間(最大)117.04s
応答時間(合計)161.28s
-
コーディング
: 5.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)101.89s
応答時間(最大)196.21s
応答時間(合計)305.67s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 回答なし: 1
応答時間(平均)72.12s
応答時間(最大)103.21s
応答時間(合計)144.25s
-
データ解析と抽出
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)21.95s
応答時間(最大)24.88s
応答時間(合計)43.89s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
タイムアウト: 2 不正解: 1
応答時間(平均)39.70s
応答時間(最大)63.03s
応答時間(合計)79.41s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)38.70s
応答時間(最大)38.70s
応答時間(合計)38.70s
-
指示追従
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)12.80s
応答時間(最大)15.23s
応答時間(合計)25.60s
-
パズル解決
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)24.87s
応答時間(最大)46.29s
応答時間(合計)74.61s
-
ツール呼び出し
: 4.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)12.05s
応答時間(最大)12.05s
応答時間(合計)12.05s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)22.77s
応答時間(最大)22.77s
応答時間(合計)22.77s
|
| #239#239 |
North Mini Codenone60/66 回 (目標: テストごとに 3 回)
|
5.1… |
Cohere |
$0.000
…
|
29.95s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 12 余分な書式: 2 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)29.95s
応答時間(最大)159.85s
応答時間(合計)658.83s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 18.2%
- 入力トークン
- 130,501
- 出力トークン
- 26,786
- 推論トークン
- 0
- 応答時間(平均)
- 29.95s
- 応答時間(合計)
- 658.83s
- 応答時間(最大)
- 159.85s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 2 不正解: 2
応答時間(平均)22.48s
応答時間(最大)51.34s
応答時間(合計)89.90s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)21.96s
応答時間(最大)44.81s
応答時間(合計)65.89s
-
複合
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)96.20s
応答時間(最大)159.85s
応答時間(合計)192.40s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)28.00s
応答時間(最大)42.87s
応答時間(合計)55.99s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)14.73s
応答時間(最大)32.97s
応答時間(合計)44.20s
-
汎用知能
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)34.77s
応答時間(最大)34.77s
応答時間(合計)34.77s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)30.68s
応答時間(最大)37.37s
応答時間(合計)61.35s
-
パズル解決
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)24.43s
応答時間(最大)48.56s
応答時間(合計)73.30s
-
ツール呼び出し
: 9.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.64s
応答時間(最大)3.64s
応答時間(合計)3.64s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)37.37s
応答時間(最大)37.37s
応答時間(合計)37.37s
|
| #238#238 |
GLM 5 Turbononeアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.1… |
Z.ai |
$0.047
↑
…
|
2.82s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2
応答時間(平均)2.82s
応答時間(最大)8.21s
応答時間(合計)59.29s
…
|
- 合計テスト数
- 21
- 誤答テスト数
- 15
- 試行ごとの合格率
- 30.3%
- 入力トークン
- 32,525
- 出力トークン
- 1,815
- 推論トークン
- 0
- 応答時間(平均)
- 2.82s
- 応答時間(合計)
- 59.29s
- 応答時間(最大)
- 8.21s
-
反AIトリック
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.84s
応答時間(最大)4.15s
応答時間(合計)11.35s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.41s
応答時間(最大)3.93s
応答時間(合計)7.22s
-
複合
: 1.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)4.89s
応答時間(最大)4.89s
応答時間(合計)4.89s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.47s
応答時間(最大)2.48s
応答時間(合計)4.95s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.97s
応答時間(最大)2.65s
応答時間(合計)5.92s
-
汎用知能
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.18s
応答時間(最大)2.18s
応答時間(合計)2.18s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.13s
応答時間(最大)2.53s
応答時間(合計)4.27s
-
パズル解決
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.65s
応答時間(最大)3.34s
応答時間(合計)7.94s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)8.21s
応答時間(最大)8.21s
応答時間(合計)8.21s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.37s
応答時間(最大)2.37s
応答時間(合計)2.37s
|
| #237#237 |
Qwen3.5-9Bnone
|
5.1… |
Qwen |
$0.021
↑
…
|
19.19s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 指示に従っていない: 2 無効なツール呼び出し: 2
応答時間(平均)19.19s
応答時間(最大)382.06s
応答時間(合計)422.25s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 19.7%
- 入力トークン
- 144,416
- 出力トークン
- 37,484
- 推論トークン
- 0
- 応答時間(平均)
- 19.19s
- 応答時間(合計)
- 422.25s
- 応答時間(最大)
- 382.06s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)1.71s
応答時間(最大)3.79s
応答時間(合計)6.84s
-
コーディング
: 3.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)5.60s
応答時間(最大)6.03s
応答時間(合計)16.81s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 2
応答時間(平均)193.98s
応答時間(最大)382.06s
応答時間(合計)387.97s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)847ms
応答時間(最大)1.09s
応答時間(合計)1.69s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)636ms
応答時間(最大)1.14s
応答時間(合計)1.91s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)552ms
応答時間(最大)552ms
応答時間(合計)552ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)514ms
応答時間(最大)582ms
応答時間(合計)1.03s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)621ms
応答時間(最大)759ms
応答時間(合計)1.86s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.27s
応答時間(最大)1.27s
応答時間(合計)1.27s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)2.32s
応答時間(最大)2.32s
応答時間(合計)2.32s
|
| #236#236 |
MiMo-V2.5none
|
5.1… |
Xiaomi |
$0.025
↓
…
|
4.68s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 余分な書式: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)4.68s
応答時間(最大)55.36s
応答時間(合計)103.02s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 27.3%
- 入力トークン
- 141,052
- 出力トークン
- 16,464
- 推論トークン
- 0
- 応答時間(平均)
- 4.68s
- 応答時間(合計)
- 103.02s
- 応答時間(最大)
- 55.36s
-
反AIトリック
: 3.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.19s
応答時間(最大)6.85s
応答時間(合計)8.74s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)3.24s
応答時間(最大)5.52s
応答時間(合計)9.72s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)28.86s
応答時間(最大)55.36s
応答時間(合計)57.72s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1
応答時間(平均)1.01s
応答時間(最大)1.18s
応答時間(合計)2.03s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.24s
応答時間(最大)2.23s
応答時間(合計)3.71s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)6.86s
応答時間(最大)6.86s
応答時間(合計)6.86s
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)751ms
応答時間(最大)821ms
応答時間(合計)1.50s
-
パズル解決
: 5.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)2.13s
応答時間(最大)5.18s
応答時間(合計)6.40s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.43s
応答時間(最大)2.43s
応答時間(合計)2.43s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.89s
応答時間(最大)3.89s
応答時間(合計)3.89s
|
| #235#235 |
Qwen3 Coder Nextnone
|
5.1… |
Qwen |
$0.026
↑
…
|
8.63s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 14 余分な書式: 1 指示に従っていない: 1 回答なし: 1
応答時間(平均)8.63s
応答時間(最大)45.14s
応答時間(合計)146.72s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 134,227
- 出力トークン
- 11,808
- 推論トークン
- 0
- 応答時間(平均)
- 8.63s
- 応答時間(合計)
- 146.72s
- 応答時間(最大)
- 45.14s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1 指示に従っていない: 1
応答時間(平均)3.31s
応答時間(最大)4.39s
応答時間(合計)6.63s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.22s
応答時間(最大)3.14s
応答時間(合計)6.67s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)30.86s
応答時間(最大)45.14s
応答時間(合計)61.71s
-
データ解析と抽出
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.32s
応答時間(最大)1.32s
応答時間(合計)1.32s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)871ms
応答時間(最大)962ms
応答時間(合計)1.74s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.34s
応答時間(最大)1.34s
応答時間(合計)1.34s
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)7.78s
応答時間(最大)14.65s
応答時間(合計)15.56s
-
パズル解決
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)24.34s
応答時間(最大)42.58s
応答時間(合計)48.69s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.47s
応答時間(最大)2.47s
応答時間(合計)2.47s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)601ms
応答時間(最大)601ms
応答時間(合計)601ms
|
| #233#233 |
Mistral Small 4none
|
5.1… |
Mistral |
$0.022
…
|
1.20s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 16 指示に従っていない: 1
応答時間(平均)1.20s
応答時間(最大)13.16s
応答時間(合計)26.41s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 25.8%
- 入力トークン
- 104,717
- 出力トークン
- 9,812
- 推論トークン
- 0
- 応答時間(平均)
- 1.20s
- 応答時間(合計)
- 26.41s
- 応答時間(最大)
- 13.16s
-
反AIトリック
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)395ms
応答時間(最大)769ms
応答時間(合計)1.58s
-
コーディング
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)901ms
応答時間(最大)1.28s
応答時間(合計)2.70s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)7.44s
応答時間(最大)13.16s
応答時間(合計)14.88s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)822ms
応答時間(最大)1.08s
応答時間(合計)1.64s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)377ms
応答時間(最大)418ms
応答時間(合計)1.13s
-
汎用知能
: 4.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)729ms
応答時間(最大)729ms
応答時間(合計)729ms
-
指示追従
: 6.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)380ms
応答時間(最大)380ms
応答時間(合計)759ms
-
パズル解決
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)399ms
応答時間(最大)570ms
応答時間(合計)1.20s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.40s
応答時間(最大)1.40s
応答時間(合計)1.40s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)397ms
応答時間(最大)397ms
応答時間(合計)397ms
|
| #234#234 |
Mistral Small 4medium
|
5.1… |
Mistral |
$0.097
…
|
10.80s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 2 API エラー: 1 回答なし: 1
応答時間(平均)10.80s
応答時間(最大)59.15s
応答時間(合計)237.60s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 43.9%
- 入力トークン
- 140,559
- 出力トークン
- 40,268
- 推論トークン
- 93,329
- 応答時間(平均)
- 10.80s
- 応答時間(合計)
- 237.60s
- 応答時間(最大)
- 59.15s
-
反AIトリック
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)2.67s
応答時間(最大)5.03s
応答時間(合計)10.66s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)39.98s
応答時間(最大)59.15s
応答時間(合計)119.95s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
回答なし: 1 不正解: 1
応答時間(平均)32.40s
応答時間(最大)39.55s
応答時間(合計)64.80s
-
データ解析と抽出
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)1.23s
応答時間(最大)1.96s
応答時間(合計)2.46s
-
ドメイン特化
: 5.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)6.33s
応答時間(最大)13.72s
応答時間(合計)19.00s
-
汎用知能
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.05s
応答時間(最大)2.05s
応答時間(合計)2.05s
-
指示追従
: 7.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.38s
応答時間(最大)1.61s
応答時間(合計)2.75s
-
パズル解決
: 3.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)2.17s
応答時間(最大)2.60s
応答時間(合計)6.50s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)3.50s
応答時間(最大)3.50s
応答時間(合計)3.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)5.92s
応答時間(最大)5.92s
応答時間(合計)5.92s
|
| #232#232 |
Nemotron 3.5 Lightningmedium
|
5.1… |
NVIDIA |
$0.195
↕
…
|
70.11s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 指示に従っていない: 3 無効なツール呼び出し: 1
応答時間(平均)70.11s
応答時間(最大)437.11s
応答時間(合計)1542.52s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 17
- 試行ごとの合格率
- 48.5%
- 入力トークン
- 126,330
- 出力トークン
- 165,702
- 推論トークン
- 594,739
- 応答時間(平均)
- 70.11s
- 応答時間(合計)
- 1542.52s
- 応答時間(最大)
- 437.11s
-
反AIトリック
: 6.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)12.34s
応答時間(最大)41.00s
応答時間(合計)49.37s
-
コーディング
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)285.47s
応答時間(最大)437.11s
応答時間(合計)856.41s
-
複合
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1
応答時間(平均)136.91s
応答時間(最大)250.92s
応答時間(合計)273.82s
-
データ解析と抽出
: 3.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)23.24s
応答時間(最大)25.46s
応答時間(合計)46.48s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)74.73s
応答時間(最大)179.37s
応答時間(合計)224.19s
-
汎用知能
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)4.36s
応答時間(最大)4.36s
応答時間(合計)4.36s
-
指示追従
: 8.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)3.75s
応答時間(最大)4.33s
応答時間(合計)7.50s
-
パズル解決
: 4.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)10.49s
応答時間(最大)22.61s
応答時間(合計)31.46s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.92s
応答時間(最大)4.92s
応答時間(合計)4.92s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)44.02s
応答時間(最大)44.02s
応答時間(合計)44.02s
|
| #231#231 |
Inklingnone
|
5.2… |
Thinkingmachines |
$0.142
↓
…
|
3.47s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 余分な書式: 1 指示に従っていない: 1 無効なツール呼び出し: 1
応答時間(平均)3.47s
応答時間(最大)48.02s
応答時間(合計)76.28s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 16
- 試行ごとの合格率
- 28.8%
- 入力トークン
- 104,120
- 出力トークン
- 10,554
- 推論トークン
- 0
- 応答時間(平均)
- 3.47s
- 応答時間(合計)
- 76.28s
- 応答時間(最大)
- 48.02s
-
反AIトリック
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.43s
応答時間(最大)2.89s
応答時間(合計)5.72s
-
コーディング
: 4.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.01s
応答時間(最大)2.25s
応答時間(合計)3.02s
-
複合
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)25.74s
応答時間(最大)48.02s
応答時間(合計)51.48s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.14s
応答時間(最大)1.33s
応答時間(合計)2.27s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)1.18s
応答時間(最大)2.66s
応答時間(合計)3.54s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)859ms
応答時間(最大)859ms
応答時間(合計)859ms
-
指示追従
: 6.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.72s
応答時間(最大)2.59s
応答時間(合計)3.43s
-
パズル解決
: 5.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
余分な書式: 1 不正解: 1
応答時間(平均)931ms
応答時間(最大)1.40s
応答時間(合計)2.79s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)2.50s
応答時間(最大)2.50s
応答時間(合計)2.50s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)670ms
応答時間(最大)670ms
応答時間(合計)670ms
|
| #230#230 |
Dots 3 Note Previewnone
|
5.2… |
Dots Studio |
$0.000
…
|
3.53s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 15 指示に従っていない: 2 余分な書式: 1 無効なツール呼び出し: 1
応答時間(平均)3.53s
応答時間(最大)24.48s
応答時間(合計)77.68s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 19
- 試行ごとの合格率
- 16.7%
- 入力トークン
- 116,155
- 出力トークン
- 19,679
- 推論トークン
- 0
- 応答時間(平均)
- 3.53s
- 応答時間(合計)
- 77.68s
- 応答時間(最大)
- 24.48s
-
反AIトリック
: 3.1
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3 指示に従っていない: 1
応答時間(平均)1.92s
応答時間(最大)4.80s
応答時間(合計)7.69s
-
コーディング
: 4.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 余分な書式: 1
応答時間(平均)6.12s
応答時間(最大)13.52s
応答時間(合計)18.37s
-
複合
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
無効なツール呼び出し: 1 不正解: 1
応答時間(平均)14.81s
応答時間(最大)24.48s
応答時間(合計)29.63s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)2.72s
応答時間(最大)3.22s
応答時間(合計)5.45s
-
ドメイン特化
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.10s
応答時間(最大)1.44s
応答時間(合計)3.30s
-
汎用知能
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.63s
応答時間(最大)1.63s
応答時間(合計)1.63s
-
指示追従
: 4.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1 不正解: 1
応答時間(平均)1.06s
応答時間(最大)1.17s
応答時間(合計)2.12s
-
パズル解決
: 3.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)1.50s
応答時間(最大)2.39s
応答時間(合計)4.49s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)4.04s
応答時間(最大)4.04s
応答時間(合計)4.04s
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)961ms
応答時間(最大)961ms
応答時間(合計)961ms
|
| #229#229 |
Qwen3.6 35B A3Bnone
|
5.3… |
Qwen |
$0.061
↑
…
|
5.57s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 13 API エラー: 2 指示に従っていない: 2 回答なし: 1
応答時間(平均)5.57s
応答時間(最大)39.54s
応答時間(合計)111.32s
…
|
- 合計テスト数
- 22
- 誤答テスト数
- 18
- 試行ごとの合格率
- 28.8%
- 入力トークン
- 93,990
- 出力トークン
- 45,905
- 推論トークン
- 0
- 応答時間(平均)
- 5.57s
- 応答時間(合計)
- 111.32s
- 応答時間(最大)
- 39.54s
-
反AIトリック
: 3.6
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 4
応答時間(平均)2.10s
応答時間(最大)6.15s
応答時間(合計)8.41s
-
コーディング
: 5.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)8.77s
応答時間(最大)22.52s
応答時間(合計)26.32s
-
複合
: 3.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1 回答なし: 1
応答時間(平均)39.54s
応答時間(最大)39.54s
応答時間(合計)39.54s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)1.46s
応答時間(最大)2.03s
応答時間(合計)2.93s
-
ドメイン特化
: 2.9
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 3
応答時間(平均)7.76s
応答時間(最大)12.46s
応答時間(合計)23.27s
-
汎用知能
: 4.4
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)3.51s
応答時間(最大)3.51s
応答時間(合計)3.51s
-
指示追従
: 6.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)1.86s
応答時間(最大)2.83s
応答時間(合計)3.73s
-
パズル解決
: 3.2
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 2 不正解: 1
応答時間(平均)1.07s
応答時間(最大)1.24s
応答時間(合計)3.20s
-
ツール呼び出し
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
API エラー: 1
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
雑学
: 3.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 1
応答時間(平均)414ms
応答時間(最大)414ms
応答時間(合計)414ms
|
| #228#228 |
Gemini 3.1 Flash Lite Previewhighアーカイブ済みモデル: このモデルは今後更新されず、新しいテストでも評価されません。
|
5.3… |
Google |
$2.310
…
|
68.14s… |
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2 指示に従っていない: 1
応答時間(平均)68.14s
応答時間(最大)280.52s
応答時間(合計)1090.28s
…
|
- 合計テスト数
- 16
- 誤答テスト数
- 3
- 信頼性
- 該当なしこのモデルの信頼性テレメトリは利用できません。
- 試行ごとの合格率
- 59.1%
- 入力トークン
- 28,980
- 出力トークン
- 1,283
- 推論トークン
- 1,533,310
- 応答時間(平均)
- 68.14s
- 応答時間(合計)
- 1090.28s
- 応答時間(最大)
- 280.52s
-
反AIトリック
: 7.5
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)43.87s
応答時間(最大)121.88s
応答時間(合計)131.62s
-
コーディング
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
-
複合
: 5.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)280.52s
応答時間(最大)280.52s
応答時間(合計)280.52s
-
データ解析と抽出
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.16s
応答時間(最大)8.54s
応答時間(合計)14.31s
-
ドメイン特化
: 5.3
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
不正解: 2
応答時間(平均)127.58s
応答時間(最大)133.93s
応答時間(合計)382.74s
-
汎用知能
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)5.25s
応答時間(最大)5.25s
応答時間(合計)5.25s
-
指示追従
: 9.8
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)64.03s
応答時間(最大)124.45s
応答時間(合計)128.06s
-
パズル解決
: 7.7
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
指示に従っていない: 1
応答時間(平均)46.68s
応答時間(最大)134.22s
応答時間(合計)140.04s
-
ツール呼び出し
: 10.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)7.73s
応答時間(最大)7.73s
応答時間(合計)7.73s
-
雑学
: 0.0
テストは、その全実行が合格した場合にのみ完全合格とみなされます。
失敗した回答はありません。
応答時間(平均)0ms
応答時間(最大)0ms
応答時間(合計)0ms
|