- Rang
- #293
- Total tokenuri de ieșire
- 40,302
- Timp de răspuns (mediu)
- 3.34s
- Cost total
- $0.020
Mercury 2.5 (low) vs KAT Coder AIR V2.5 (medium)
Scorul mediu este practic egal la 5.1 vs 5.1. Mercury 2.5 (low) are costul de benchmark mai mic, $0.020 vs $0.048. Mercury 2.5 (low) este mai rapid cu 3.34s vs 8.32s, cu rate de reușită de 37.7% vs 43.5%.
Modele comparate
- Rang
- #294
- Total tokenuri de ieșire
- 66,576
- Timp de răspuns (mediu)
- 8.32s
- Cost total
- $0.048
Model recomandat
Mercury 2.5 (low)
Are cel mai bun scor aici (5.1) și costă de aproximativ 2.5x mai puțin decât KAT Coder AIR V2.5 (medium).
Comparație detaliată
| Metrică | Mercury 2.5 Mercury 2.5 low | KAT Coder AIR V2.5 KAT Coder AIR V2.5 medium |
|---|---|---|
| Scor | 5.1 | 5.1 |
| Rang | #293 | #294 |
| Fiabilitate | 9.8 | 9.6 |
| Consistență | 8.2 | 8.9 |
| Încercări | 69/69 | 69/69 |
| Teste corecte | ||
| Rată de trecere pe încercare | 37.7% | 43.5% |
| Teste instabile | 5 | 3 |
| Rulări totale | 69 | 69 |
| Cost per rezultat | 0.319 | 0.596 |
| Cost total | $0.020 | $0.048 |
| Preț de intrare | $0.040 / 1M | $0.000 / 1M |
| Preț de ieșire | $0.150 / 1M | $0.000 / 1M |
| Total tokenuri de intrare | 326,083 | 51,369 |
| Tokenuri de ieșire | 7,224 | 8,008 |
| Tokenuri de raționament | 33,078 | 58,568 |
| Timp de răspuns (mediu) | 3.34s | 8.32s |
| Timp de răspuns (maxim) | 47.06s | 48.19s |
| Timp de răspuns (total) | 76.80s | 191.40s |
| Parametri | ~100B | ~35B în total (~3B activi) |
| Disponibilitate | Închis | Închis |
Prezentare generare modele
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#293 Mercury 2.5
low- Cost
- $0.001
- Timp
- 2.4s
- Tokenuri
- 1,236 tok
#294 KAT Coder AIR V2.5
medium- Cost
- $0.003
- Timp
- 23.7s
- Tokenuri
- 4,924 tok
Top modele după scor
Scor vs cost total
Timp de răspuns (mediu)
Scor vs Timp de răspuns (mediu)
Total tokenuri de ieșire
Scor vs Total tokenuri de ieșire
Defalcare pe categorii
| Sarcini agentice | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.0 | 10.0 | 0.0% | 0 | 47.06s | 188,063 | 1,141 | 5,442 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.05s | 0 | 0 | 0 |
| Trucuri anti-AI | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 6.9 | 7.9 | 66.7% | 1 | 799ms | 772 | 209 | 2,969 | |
| KAT Coder AIR V2.5 | 8.7 | 8.0 | 91.7% | 1 | 3.79s | 672 | 549 | 4,194 |
| Programare | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.5 | 10.0 | 33.3% | 0 | 972ms | 7,909 | 521 | 2,269 | |
| KAT Coder AIR V2.5 | 3.6 | 7.0 | 22.2% | 1 | 23.37s | 7,893 | 5,199 | 29,973 |
| Combinat | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.0 | 10.0 | 0.0% | 0 | 5.16s | 107,683 | 3,750 | 11,351 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 19.56s | 23,854 | 435 | 6,811 |
| Parsare și extragere de date | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 6.5 | 10.0 | 50.0% | 0 | 1.06s | 8,322 | 739 | 1,499 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 3.65s | 7,776 | 268 | 1,881 |
| Specific domeniului | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.6 | 7.2 | 22.2% | 1 | 846ms | 851 | 57 | 2,265 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 6.58s | 668 | 673 | 4,670 |
| Inteligență generală | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 4.4 | 9.9 | 0.0% | 0 | 819ms | 525 | 99 | 748 | |
| KAT Coder AIR V2.5 | 5.0 | 10.0 | 0.0% | 0 | 9.81s | 516 | 189 | 557 |
| Respectarea instrucțiunilor | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 2.9 | 6.0 | 16.7% | 1 | 972ms | 518 | 48 | 1,026 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 1.50s | 699 | 93 | 730 |
| Rezolvare de puzzle-uri | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 5.9 | 4.5 | 66.7% | 2 | 792ms | 768 | 249 | 2,214 | |
| KAT Coder AIR V2.5 | 3.6 | 7.2 | 22.2% | 1 | 1.87s | 696 | 265 | 1,184 |
| Apelare instrumente | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 9.8 | 10.0 | 100.0% | 0 | 2.72s | 10,440 | 388 | 2,537 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.77s | 8,391 | 317 | 906 |
| Cultură generală | Scor | Consistență | Rată de trecere pe încercare | Teste instabile | Teste corecte | Timp de răspuns (mediu) | Tokenuri de intrare | Tokenuri de ieșire | Tokenuri de raționament |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 | 3.0 | 10.0 | 0.0% | 0 | 782ms | 232 | 23 | 758 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 15.74s | 204 | 20 | 7,662 |
Comparație rapidă
Schimbă perechea de comparație
KAT Coder AIR V2.5mediumvsMiMo-V2.5-PrononeMercury 2.5lowvsMiMo-V2.5-PrononeMercury 2.5lowvsMistral Small 4noneMercury 2.5lowvsMistral Small 4mediumKAT Coder AIR V2.5mediumvsMistral Small 4noneMercury 2.5lowvsLaguna S 2.1mediumDisponibil gratuitMercury 2.5lowvsKAT Coder AIR V2.5highMercury 2.5lowvsNemotron 3.5 LightninghighDisponibil gratuitKAT Coder AIR V2.5mediumvsNemotron 3.5 LightninghighDisponibil gratuitMercury 2.5 PreviewlowvsKAT Coder AIR V2.5mediumMercury 2.5lowvsLing 3.0 FlashnoneLing 3.0 FlashnonevsKAT Coder AIR V2.5medium