83Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
83Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
Cost per rezultat
0.622Afișează costul mediu pe răspuns corect în benchmark, în cenți (mai mic este mai bun).…
0.064Afișează costul mediu pe răspuns corect în benchmark, în cenți (mai mic este mai bun).…
Cost total
$0.044Cost total…
$0.003Cost total…
Timp de răspuns (medie)
2.47sTimp de răspuns (medie)…
3.16sTimp de răspuns (medie)…
Timp de răspuns (maxim)
14.63sTimp de răspuns (maxim)…
7.05sTimp de răspuns (maxim)…
Timp de răspuns (total)
34.56sTimp de răspuns (total)…
25.31sTimp de răspuns (total)…
Teste corecte
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 5Nu a urmat instrucțiunile: 3Timp de răspuns (medie)2.47sTimp de răspuns (maxim)14.63sTimp de răspuns (total)34.56sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 8Nu a urmat instrucțiunile: 2invalid tool call: 1Timp de răspuns (medie)3.16sTimp de răspuns (maxim)7.05sTimp de răspuns (total)25.31sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
Rată de trecere pe încercare
57.8%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
37.8%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
Teste instabile
3Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
3Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Tokenuri de ieșire
3,571Tokenuri de ieșire…
1,721Tokenuri de ieșire…
Tokenuri de raționament
45,379Tokenuri de raționament…
0Tokenuri de raționament…
Top modele după scor
Timp de răspuns (medie)
Scor vs cost total
Scor mediu vs Timp de răspuns (medie)
Defalcare pe categorii
Trucuri anti-AI
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
73Scor mediu pe toate testele de benchmark.…
98Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
66.7%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Nu a urmat instrucțiunile: 1Timp de răspuns (medie)1.30sTimp de răspuns (maxim)2.46sTimp de răspuns (total)3.89sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.30sTimp de răspuns (medie)…
2,531Tokenuri de ieșire…
2,410Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
100Scor mediu pe toate testele de benchmark.…
72Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
22.2%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 3Timp de răspuns (medie)6.59sTimp de răspuns (maxim)6.59sTimp de răspuns (total)6.59sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
6.59sTimp de răspuns (medie)…
430Tokenuri de ieșire…
0Tokenuri de raționament…
Combinat
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
100.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Niciun răspuns eșuat.Timp de răspuns (medie)3.28sTimp de răspuns (maxim)3.28sTimp de răspuns (total)3.28sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
3.28sTimp de răspuns (medie)…
268Tokenuri de ieșire…
4,887Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
0.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.invalid tool call: 1Timp de răspuns (medie)3.22sTimp de răspuns (maxim)3.22sTimp de răspuns (total)3.22sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
3.22sTimp de răspuns (medie)…
704Tokenuri de ieșire…
0Tokenuri de raționament…
Parsare și extragere de date
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
55Scor mediu pe toate testele de benchmark.…
59Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
83.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)1.11sTimp de răspuns (maxim)1.47sTimp de răspuns (total)2.21sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.11sTimp de răspuns (medie)…
183Tokenuri de ieșire…
1,656Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
54Scor mediu pe toate testele de benchmark.…
58Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
83.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)4.82sTimp de răspuns (maxim)4.82sTimp de răspuns (total)4.82sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
4.82sTimp de răspuns (medie)…
196Tokenuri de ieșire…
0Tokenuri de raționament…
Specific domeniului
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
72Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
11.1%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 3Timp de răspuns (medie)6.48sTimp de răspuns (maxim)14.63sTimp de răspuns (total)19.43sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
6.48sTimp de răspuns (medie)…
41Tokenuri de ieșire…
30,754Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
70Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
66.7%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)744msTimp de răspuns (maxim)744msTimp de răspuns (total)744msUn test este considerat trecut complet doar dacă toate rulările lui trec.…
744msTimp de răspuns (medie)…
19Tokenuri de ieșire…
0Tokenuri de raționament…
Respectarea instrucțiunilor
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
100.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Niciun răspuns eșuat.Timp de răspuns (medie)1.07sTimp de răspuns (maxim)1.07sTimp de răspuns (total)1.07sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.07sTimp de răspuns (medie)…
14Tokenuri de ieșire…
958Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
55Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
50.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)888msTimp de răspuns (maxim)888msTimp de răspuns (total)888msUn test este considerat trecut complet doar dacă toate rulările lui trec.…
888msTimp de răspuns (medie)…
62Tokenuri de ieșire…
0Tokenuri de raționament…
Puzzle Solving
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
17Scor mediu pe toate testele de benchmark.…
75Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
22.2%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Nu a urmat instrucțiunile: 2Răspuns greșit: 1Timp de răspuns (medie)934msTimp de răspuns (maxim)1.18sTimp de răspuns (total)2.80sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
934msTimp de răspuns (medie)…
354Tokenuri de ieșire…
2,758Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
37Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
0.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Nu a urmat instrucțiunile: 2Răspuns greșit: 1Timp de răspuns (medie)1.00sTimp de răspuns (maxim)1.12sTimp de răspuns (total)2.00sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.00sTimp de răspuns (medie)…
98Tokenuri de ieșire…
0Tokenuri de raționament…
Apelare instrumente
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
100.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Niciun răspuns eșuat.Timp de răspuns (medie)1.89sTimp de răspuns (maxim)1.89sTimp de răspuns (total)1.89sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.89sTimp de răspuns (medie)…
180Tokenuri de ieșire…
1,956Tokenuri de raționament…
Z.ai: GLM 4.7 Flash
100Scor mediu pe toate testele de benchmark.…
16Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
33.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)7.05sTimp de răspuns (maxim)7.05sTimp de răspuns (total)7.05sUn test este considerat trecut complet doar dacă toate rulările lui trec.…