89Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
58Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
Cost per rezultat
0.147Afișează costul mediu pe răspuns corect în benchmark, în cenți (mai mic este mai bun).…
4.937Afișează costul mediu pe răspuns corect în benchmark, în cenți (mai mic este mai bun).…
Cost total
$0.006Cost total…
$0.247Cost total…
Timp de răspuns (medie)
594msTimp de răspuns (medie)…
47.58sTimp de răspuns (medie)…
Timp de răspuns (maxim)
1.27sTimp de răspuns (maxim)…
237.27sTimp de răspuns (maxim)…
Timp de răspuns (total)
8.91sTimp de răspuns (total)…
380.62sTimp de răspuns (total)…
Teste corecte
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 11Timp de răspuns (medie)594msTimp de răspuns (maxim)1.27sTimp de răspuns (total)8.91sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 5Nu a urmat instrucțiunile: 2Timp expirat: 2invalid tool call: 1Timp de răspuns (medie)47.58sTimp de răspuns (maxim)237.27sTimp de răspuns (total)380.62sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
Rată de trecere pe încercare
33.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
62.2%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
Teste instabile
2Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
8Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Tokenuri de ieșire
1,144Tokenuri de ieșire…
107,019Tokenuri de ieșire…
Tokenuri de raționament
0Tokenuri de raționament…
204,504Tokenuri de raționament…
Top modele după scor
Timp de răspuns (medie)
Scor vs cost total
Scor mediu vs Timp de răspuns (medie)
Defalcare pe categorii
Trucuri anti-AI
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
0.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 3Timp de răspuns (medie)466msTimp de răspuns (maxim)716msTimp de răspuns (total)1.40sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
466msTimp de răspuns (medie)…
274Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
93Scor mediu pe toate testele de benchmark.…
79Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
88.9%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Nu a urmat instrucțiunile: 1Timp de răspuns (medie)32.42sTimp de răspuns (maxim)32.42sTimp de răspuns (total)32.42sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
32.42sTimp de răspuns (medie)…
286Tokenuri de ieșire…
45,112Tokenuri de raționament…
Combinat
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
0.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)606msTimp de răspuns (maxim)606msTimp de răspuns (total)606msUn test este considerat trecut complet doar dacă toate rulările lui trec.…
606msTimp de răspuns (medie)…
131Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
100Scor mediu pe toate testele de benchmark.…
21Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
66.7%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.invalid tool call: 1Timp de răspuns (medie)60.39sTimp de răspuns (maxim)60.39sTimp de răspuns (total)60.39sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
60.39sTimp de răspuns (medie)…
740Tokenuri de ieșire…
9,713Tokenuri de raționament…
Parsare și extragere de date
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
55Scor mediu pe toate testele de benchmark.…
59Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
83.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)667msTimp de răspuns (maxim)819msTimp de răspuns (total)1.33sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
667msTimp de răspuns (medie)…
180Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
100Scor mediu pe toate testele de benchmark.…
17Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
66.7%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
2Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 2Timp de răspuns (medie)7.48sTimp de răspuns (maxim)7.48sTimp de răspuns (total)7.48sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
7.48sTimp de răspuns (medie)…
266Tokenuri de ieșire…
3,835Tokenuri de raționament…
Specific domeniului
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
40Scor mediu pe toate testele de benchmark.…
72Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
44.4%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 2Timp de răspuns (medie)534msTimp de răspuns (maxim)733msTimp de răspuns (total)1.60sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
534msTimp de răspuns (medie)…
46Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
100Scor mediu pe toate testele de benchmark.…
44Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
22.2%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
2Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 2Timp expirat: 1Timp de răspuns (medie)237.27sTimp de răspuns (maxim)237.27sTimp de răspuns (total)237.27sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
237.27sTimp de răspuns (medie)…
105,047Tokenuri de ieșire…
133,487Tokenuri de raționament…
Respectarea instrucțiunilor
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
55Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
50.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 1Timp de răspuns (medie)551msTimp de răspuns (maxim)622msTimp de răspuns (total)1.10sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
551msTimp de răspuns (medie)…
82Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
80Scor mediu pe toate testele de benchmark.…
68Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
83.3%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Nu a urmat instrucțiunile: 1Timp de răspuns (medie)4.64sTimp de răspuns (maxim)4.64sTimp de răspuns (total)4.64sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
4.64sTimp de răspuns (medie)…
252Tokenuri de ieșire…
1,873Tokenuri de raționament…
Puzzle Solving
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
0.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Răspuns greșit: 3Timp de răspuns (medie)533msTimp de răspuns (maxim)637msTimp de răspuns (total)1.60sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
533msTimp de răspuns (medie)…
234Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
40Scor mediu pe toate testele de benchmark.…
72Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
44.4%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
1Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Timp expirat: 1Răspuns greșit: 1Timp de răspuns (medie)11.54sTimp de răspuns (maxim)17.37sTimp de răspuns (total)23.08sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
11.54sTimp de răspuns (medie)…
159Tokenuri de ieșire…
9,547Tokenuri de raționament…
Apelare instrumente
Scor
Consistență
Rată de trecere pe încercare
Teste instabile
Teste corecte
Timp de răspuns (medie)
Tokenuri de ieșire
Tokenuri de raționament
Inception: Mercury 2
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
100.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Niciun răspuns eșuat.Timp de răspuns (medie)1.27sTimp de răspuns (maxim)1.27sTimp de răspuns (total)1.27sUn test este considerat trecut complet doar dacă toate rulările lui trec.…
1.27sTimp de răspuns (medie)…
197Tokenuri de ieșire…
0Tokenuri de raționament…
MiniMax: MiniMax M2.5
100Scor mediu pe toate testele de benchmark.…
100Scorul de consistență reflectă stabilitatea între rulări (10 = foarte consistent, chiar dacă este constant greșit).…
100.0%Rata de trecere pe încercare = încercări trecute / total încercări pe toate rulările.…
0Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).…
Un test este considerat trecut complet doar dacă toate rulările lui trec.Niciun răspuns eșuat.Timp de răspuns (medie)15.35sTimp de răspuns (maxim)15.35sTimp de răspuns (total)15.35sUn test este considerat trecut complet doar dacă toate rulările lui trec.…