- Rang
- #293
- Total tokenuri de ieșire
- 40,302
- Timp de răspuns (mediu)
- 3.34s
- Cost total
- $0.020
Mercury 2.5 (low) vs KAT Coder AIR V2.5 (high)
KAT Coder AIR V2.5 (high) conduce la scorul mediu cu 5.2 vs 5.1. Mercury 2.5 (low) are costul de benchmark mai mic, $0.020 vs $0.077. Mercury 2.5 (low) este mai rapid cu 3.34s vs 15.23s, cu rate de reușită de 37.7% vs 40.6%.
Modele comparate
- Rang
- #288
- Total tokenuri de ieșire
- 114,654
- Timp de răspuns (mediu)
- 15.23s
- Cost total
- $0.077
Model recomandat
Mercury 2.5 (low)
Scorul rămâne aproape de cel mai bun scor de aici (5.1 vs 5.2) și costă de aproximativ 4.0x mai puțin decât KAT Coder AIR V2.5 (high).
Comparație detaliată
| Metrică | Mercury 2.5 Mercury 2.5 low | KAT Coder AIR V2.5 KAT Coder AIR V2.5 high |
|---|---|---|
| Scor | 5.1 | 5.2 |
| Rang | #293 | #288 |
| Fiabilitate | 9.8 | 9.8 |
| Consistență | 8.2 | 8.2 |
| Încercări | 69/69 | 69/69 |
| Teste corecte | ||
| Rată de trecere pe încercare | 37.7% | 40.6% |
| Teste instabile | 5 | 5 |
| Rulări totale | 69 | 69 |
| Cost per rezultat | 0.319 | 1.091 |
| Cost total | $0.020 | $0.077 |
| Preț de intrare | $0.040 / 1M | $0.000 / 1M |
| Preț de ieșire | $0.150 / 1M | $0.000 / 1M |
| Total tokenuri de intrare | 326,083 | 50,423 |
| Tokenuri de ieșire | 7,224 | 4,144 |
| Tokenuri de raționament | 33,078 | 110,510 |
| Timp de răspuns (mediu) | 3.34s | 15.23s |
| Timp de răspuns (maxim) | 47.06s | 118.35s |
| Timp de răspuns (total) | 76.80s | 350.26s |
| Parametri | ~100B | ~35B în total (~3B activi) |
| Disponibilitate | Închis | Închis |
Prezentare generare modele
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#293 Mercury 2.5
low- Cost
- $0.001
- Timp
- 2.4s
- Tokenuri
- 1,236 tok
#288 KAT Coder AIR V2.5
high
Reached the allocated time limit (300 seconds) without receiving showcase output.
- Cost
- $0.000
- Timp
- 300.0s
- Tokenuri
- 0 tok
Top modele după scor
Scor vs cost total
Timp de răspuns (mediu)
Scor vs Timp de răspuns (mediu)
Total tokenuri de ieșire
Scor vs Total tokenuri de ieșire
Defalcare pe categorii
| Sarcini agentice | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.0 | 10.0 | 0.0% | 0 | 47.06s | 188,063 | 1,141 | 5,442 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.10s | 0 | 0 | 0 |
| Trucuri anti-AI | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 6.9 | 7.9 | 66.7% | 1 | 799ms | 772 | 209 | 2,969 | |
| KAT Coder AIR V2.5 | 6.9 | 5.8 | 75.0% | 2 | 2.49s | 615 | 204 | 1,290 |
| Programare | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.5 | 10.0 | 33.3% | 0 | 972ms | 7,909 | 521 | 2,269 | |
| KAT Coder AIR V2.5 | 4.3 | 7.3 | 11.1% | 1 | 39.07s | 6,948 | 1,166 | 55,883 |
| Combinat | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.0 | 10.0 | 0.0% | 0 | 5.16s | 107,683 | 3,750 | 11,351 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 74.48s | 23,854 | 485 | 28,559 |
| Parsare și extragere de date | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 6.5 | 10.0 | 50.0% | 0 | 1.06s | 8,322 | 739 | 1,499 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 3.59s | 7,776 | 284 | 2,140 |
| Specific domeniului | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.6 | 7.2 | 22.2% | 1 | 846ms | 851 | 57 | 2,265 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 7.28s | 724 | 1,101 | 7,738 |
| Inteligență generală | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 4.4 | 9.9 | 0.0% | 0 | 819ms | 525 | 99 | 748 | |
| KAT Coder AIR V2.5 | 5.1 | 10.0 | 0.0% | 0 | 7.10s | 516 | 179 | 539 |
| Respectarea instrucțiunilor | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 2.9 | 6.0 | 16.7% | 1 | 972ms | 518 | 48 | 1,026 | |
| KAT Coder AIR V2.5 | 9.8 | 10.0 | 100.0% | 0 | 1.51s | 699 | 90 | 675 |
| Rezolvare de puzzle-uri | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.9 | 4.5 | 66.7% | 2 | 792ms | 768 | 249 | 2,214 | |
| KAT Coder AIR V2.5 | 3.5 | 4.4 | 33.3% | 2 | 2.47s | 696 | 285 | 1,576 |
| Apelare instrumente | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 9.8 | 10.0 | 100.0% | 0 | 2.72s | 10,440 | 388 | 2,537 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.77s | 8,391 | 330 | 1,082 |
| Cultură generală | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.0 | 10.0 | 0.0% | 0 | 782ms | 232 | 23 | 758 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 21.72s | 204 | 20 | 11,028 |
Comparație rapidă
Schimbă perechea de comparație
Mercury 2.5lowvsKAT Coder AIR V2.5mediumMercury 2.5lowvsMiMo-V2.5-PrononeMercury 2.5lowvsMistral Small 4noneMercury 2.5lowvsMistral Small 4mediumLing 3.0 FlashnonevsKAT Coder AIR V2.5highKAT Coder AIR V2.5highvsInkling SmalllowDisponibil gratuitKAT Coder AIR V2.5highvsMistral Small 4mediumKAT Coder AIR V2.5highvsMistral Small 4noneMercury 2.5lowvsLaguna S 2.1mediumDisponibil gratuitKAT Coder AIR V2.5highvsMiMo-V2.5-PrononeMercury 2.5lowvsNemotron 3.5 LightninghighDisponibil gratuitMercury 2.5lowvsLing 3.0 Flashnone