- Posição
- #297
- Total de tokens de saída
- 36,870
- Tempo de resposta (médio)
- 4.92s
- Custo total
- $0.015
Mercury 2.5 Preview (low) vs KAT Coder AIR V2.5 (medium)
KAT Coder AIR V2.5 (medium) lidera na pontuação média com 5.1 vs 5.0. Mercury 2.5 Preview (low) tem menor custo de benchmark com $0.015 vs $0.048. Mercury 2.5 Preview (low) é mais rápido com 4.92s vs 8.32s, com taxas de acerto de 44.9% vs 43.5%.
Modelos comparados
- Posição
- #294
- Total de tokens de saída
- 66,576
- Tempo de resposta (médio)
- 8.32s
- Custo total
- $0.048
Modelo recomendado
Mercury 2.5 Preview (low)
A pontuação fica perto da melhor aqui (5.0 vs 5.1) e custa cerca de 3.3x menos que KAT Coder AIR V2.5 (medium).
Comparação detalhada
| Métrica | Mercury 2.5 Preview Mercury 2.5 Preview low | KAT Coder AIR V2.5 KAT Coder AIR V2.5 medium |
|---|---|---|
| Pontuação | 5.0 | 5.1 |
| Posição | #297 | #294 |
| Confiabilidade | 9.9 | 9.6 |
| Consistência | 7.1 | 8.9 |
| Tentativas | 69/69 | 69/69 |
| Testes corretos | ||
| Taxa de acerto por tentativa | 44.9% | 43.5% |
| Testes instáveis | 8 | 3 |
| Execuções totais | 69 | 69 |
| Custo por resultado | 0.244 | 0.596 |
| Custo total | $0.015 | $0.048 |
| Preço de entrada | $0.000 / 1M | $0.000 / 1M |
| Preço de saída | $0.000 / 1M | $0.000 / 1M |
| Total de tokens de entrada | 235,438 | 51,369 |
| Tokens de saída | 8,136 | 8,008 |
| Tokens de raciocínio | 28,734 | 58,568 |
| Tempo de resposta (médio) | 4.92s | 8.32s |
| Tempo de resposta (máx.) | 84.47s | 48.19s |
| Tempo de resposta (total) | 113.24s | 191.40s |
| Parâmetros | ~100B | ~35B no total (~3B ativos) |
| Disponibilidade | Código fechado | Código fechado |
Geração showcase de modelos
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#297 Mercury 2.5 Preview
low- Custo
- $0.001
- Tempo
- 1.5s
- Tokens
- 1,169 tok
#294 KAT Coder AIR V2.5
medium- Custo
- $0.003
- Tempo
- 23.7s
- Tokens
- 4,924 tok
Melhores modelos por pontuação
Pontuação vs custo total
Tempo de resposta (médio)
Pontuação vs Tempo de resposta (médio)
Total de tokens de saída
Pontuação vs Total de tokens de saída
Detalhamento por categoria
| Tarefas de agentes | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.0 | 10.0 | 0.0% | 0 | 84.47s | 101,913 | 877 | 4,018 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 1.05s | 0 | 0 | 0 |
| Truques anti-IA | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.6 | 3.8 | 66.7% | 3 | 759ms | 786 | 290 | 3,019 | |
| KAT Coder AIR V2.5 | 8.7 | 8.0 | 91.7% | 1 | 3.79s | 672 | 549 | 4,194 |
| Programação | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.5 | 10.0 | 33.3% | 0 | 972ms | 7,794 | 695 | 2,263 | |
| KAT Coder AIR V2.5 | 3.6 | 7.0 | 22.2% | 1 | 23.37s | 7,893 | 5,199 | 29,973 |
| Combinado | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 3.0 | 10.0 | 0.0% | 0 | 4.77s | 110,517 | 5,013 | 9,661 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 19.56s | 23,854 | 435 | 6,811 |
| Análise e extração de dados | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 6.3 | 5.8 | 66.7% | 1 | 1.12s | 8,309 | 611 | 1,521 | |
| KAT Coder AIR V2.5 | 6.5 | 10.0 | 50.0% | 0 | 3.65s | 7,776 | 268 | 1,881 |
| Específico do domínio | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 4.1 | 4.4 | 44.5% | 2 | 836ms | 849 | 45 | 2,247 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 6.58s | 668 | 673 | 4,670 |
| Inteligência geral | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 5.0 | 10.0 | 0.0% | 0 | 1.05s | 540 | 105 | 749 | |
| KAT Coder AIR V2.5 | 5.0 | 10.0 | 0.0% | 0 | 9.81s | 516 | 189 | 557 |
| Seguimento de instruções | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 6.3 | 10.0 | 50.0% | 0 | 1.60s | 745 | 99 | 1,492 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 1.50s | 699 | 93 | 730 |
| Resolução de quebra-cabeças | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 8.2 | 7.2 | 88.9% | 1 | 710ms | 777 | 312 | 2,271 | |
| KAT Coder AIR V2.5 | 3.6 | 7.2 | 22.2% | 1 | 1.87s | 696 | 265 | 1,184 |
| Chamada de ferramentas | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 2.8 | 1.6 | 33.3% | 1 | 1.57s | 2,983 | 76 | 739 | |
| KAT Coder AIR V2.5 | 10.0 | 10.0 | 100.0% | 0 | 4.77s | 8,391 | 317 | 906 |
| Conhecimentos gerais | Pontuação | Consistência | Taxa de acerto por tentativa | Testes instáveis | Testes corretos | Tempo de resposta (médio) | Tokens de entrada | Tokens de saída | Tokens de raciocínio |
|---|---|---|---|---|---|---|---|---|---|
| Mercury 2.5 Preview | 3.0 | 10.0 | 0.0% | 0 | 591ms | 225 | 13 | 754 | |
| KAT Coder AIR V2.5 | 3.0 | 10.0 | 0.0% | 0 | 15.74s | 204 | 20 | 7,662 |
Comparação rápida
Trocar par de comparação
Mercury 2.5lowvsKAT Coder AIR V2.5mediumKAT Coder AIR V2.5mediumvsMiMo-V2.5-PrononeKAT Coder AIR V2.5mediumvsMistral Small 4noneMercury 2.5 PreviewlowvsLaguna S 2.1mediumDisponível grátisMercury 2.5 PreviewlowvsMiniMax M2.7mediumDots 3 Note PreviewnoneDisponível grátisvsMercury 2.5 PreviewlowMercury 2.5 PreviewlowvsGPT-4o-mininoneMercury 2.5 PreviewlowvsMiMo-V2.5-PrononeKAT Coder AIR V2.5mediumvsNemotron 3.5 LightninghighDisponível grátisLing 3.0 FlashnonevsKAT Coder AIR V2.5mediumMercury 2.5 PreviewlowvsMistral Small 4noneMercury 2.5 PreviewlowvsMistral Small 4medium