- Rang
- #297
- Total des jetons de sortie
- 36,870
- Temps de réponse (moy.)
- 4.92s
- Coût total
- $0.015
Mercury 2.5 Preview (low) vs KAT Coder AIR V2.5 (medium)
KAT Coder AIR V2.5 (medium) mène au score moyen avec 5.1 vs 5.0. Mercury 2.5 Preview (low) a le coût de benchmark le plus bas avec $0.015 vs $0.048. Mercury 2.5 Preview (low) est plus rapide avec 4.92s vs 8.32s, avec des taux de réussite de 44.9% vs 43.5%.
Modèles comparés
- Rang
- #294
- Total des jetons de sortie
- 66,576
- Temps de réponse (moy.)
- 8.32s
- Coût total
- $0.048
Modèle recommandé
Mercury 2.5 Preview (low)
Son score reste proche du meilleur score ici (5.0 vs 5.1) tout en coûtant environ 3.3x moins que KAT Coder AIR V2.5 (medium).
Comparaison détaillée
| Métrique | Mercury 2.5 Preview Mercury 2.5 Preview low | KAT Coder AIR V2.5 KAT Coder AIR V2.5 medium |
|---|---|---|
| Score | 5.0 | 5.1 |
| Rang | #297 | #294 |
| Fiabilité | 9.9 | 9.6 |
| Cohérence | 7.1 | 8.9 |
| Tentatives | 69/69 | 69/69 |
| Tests corrects | ||
| Taux de réussite par tentative | 44.9% | 43.5% |
| Tests instables | 8 | 3 |
| Exécutions totales | 69 | 69 |
| Coût par résultat | 0.244 | 0.596 |
| Coût total | $0.015 | $0.048 |
| Prix d'entrée | $0.000 / 1M | $0.000 / 1M |
| Prix de sortie | $0.000 / 1M | $0.000 / 1M |
| Total des jetons d'entrée | 235,438 | 51,369 |
| Jetons de sortie | 8,136 | 8,008 |
| Jetons de raisonnement | 28,734 | 58,568 |
| Temps de réponse (moy.) | 4.92s | 8.32s |
| Temps de réponse (max) | 84.47s | 48.19s |
| Temps de réponse (total) | 113.24s | 191.40s |
| Paramètres | ~100B | ~35B au total (~3B actifs) |
| Disponibilité | Source fermée | Source fermée |
Génération showcase de modèles
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#297 Mercury 2.5 Preview
low- Coût
- $0.001
- Temps
- 1.5s
- Tokens
- 1,169 tok
#294 KAT Coder AIR V2.5
medium- Coût
- $0.003
- Temps
- 23.7s
- Tokens
- 4,924 tok
Meilleurs modèles par score
Score vs coût total
Temps de réponse (moy.)
Score vs Temps de réponse (moy.)
Total des jetons de sortie
Score vs Total des jetons de sortie
Répartition par catégorie
| Tâches agentiques | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.0 | 10.0 | 0.0% | 0 | 84.47s | 101,913 | 877 | 4,018 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.05s | 0 | 0 | 0 |
| Astuces anti-IA | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.6 | 3.8 | 66.7% | 3 | 759ms | 786 | 290 | 3,019 | |
| KAT Coder AIR V2.5 | 8.7 | 8.0 | 91.7% | 1 | 3.79s | 672 | 549 | 4,194 |
| Programmation | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.5 | 10.0 | 33.3% | 0 | 972ms | 7,794 | 695 | 2,263 | |
| KAT Coder AIR V2.5 | 3.6 | 7.0 | 22.2% | 1 | 23.37s | 7,893 | 5,199 | 29,973 |
| Combiné | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 3.0 | 10.0 | 0.0% | 0 | 4.77s | 110,517 | 5,013 | 9,661 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 19.56s | 23,854 | 435 | 6,811 |
| Analyse et extraction des données | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 6.3 | 5.8 | 66.7% | 1 | 1.12s | 8,309 | 611 | 1,521 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 3.65s | 7,776 | 268 | 1,881 |
| Spécifique au domaine | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 4.1 | 4.4 | 44.5% | 2 | 836ms | 849 | 45 | 2,247 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 6.58s | 668 | 673 | 4,670 |
| Intelligence générale | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.0 | 10.0 | 0.0% | 0 | 1.05s | 540 | 105 | 749 | |
| KAT Coder AIR V2.5 | 5.0 | 10.0 | 0.0% | 0 | 9.81s | 516 | 189 | 557 |
| Suivi des instructions | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 6.3 | 10.0 | 50.0% | 0 | 1.60s | 745 | 99 | 1,492 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 1.50s | 699 | 93 | 730 |
| Résolution d'énigmes | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 8.2 | 7.2 | 88.9% | 1 | 710ms | 777 | 312 | 2,271 | |
| KAT Coder AIR V2.5 | 3.6 | 7.2 | 22.2% | 1 | 1.87s | 696 | 265 | 1,184 |
| Appel d'outils | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 2.8 | 1.6 | 33.3% | 1 | 1.57s | 2,983 | 76 | 739 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.77s | 8,391 | 317 | 906 |
| Culture générale | Score | Cohérence | Taux de réussite par tentative | Tests instables | Tests corrects | Temps de réponse (moy.) | Jetons d'entrée | Jetons de sortie | Jetons de raisonnement |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 3.0 | 10.0 | 0.0% | 0 | 591ms | 225 | 13 | 754 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 15.74s | 204 | 20 | 7,662 |
Comparaison rapide
Changer la paire de comparaison
Mercury 2.5lowvsKAT Coder AIR V2.5mediumKAT Coder AIR V2.5mediumvsMiMo-V2.5-PrononeKAT Coder AIR V2.5mediumvsMistral Small 4noneMercury 2.5 PreviewlowvsLaguna S 2.1mediumDisponible gratuitementMercury 2.5 PreviewlowvsMiniMax M2.7mediumDots 3 Note PreviewnoneDisponible gratuitementvsMercury 2.5 PreviewlowMercury 2.5 PreviewlowvsGPT-4o-mininoneMercury 2.5 PreviewlowvsMiMo-V2.5-PrononeKAT Coder AIR V2.5mediumvsNemotron 3.5 LightninghighDisponible gratuitementLing 3.0 FlashnonevsKAT Coder AIR V2.5mediumMercury 2.5 PreviewlowvsMistral Small 4noneMercury 2.5 PreviewlowvsMistral Small 4medium