Navegación
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Resumen

Comparación benchmark de Mercury 2 vs Step 3.7 Flash: Step 3.7 Flash lidera en puntuación media con 7.7 vs 7.5. Mercury 2 tiene menor coste de benchmark con $0.058 vs $0.341. Mercury 2 es más rápido con 2.24s vs 15.74s, con tasas de acierto de 54.0% vs 68.3%.

Modelo recomendado: Mercury 2 - Su puntuación se mantiene cerca de la mejor aquí (7.5 vs 7.7) y cuesta aproximadamente 5.9x menos que Step 3.7 Flash.

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-06-12

Métrica Mercury 2 Mercury 2 medium Lanzamiento: 2026-02-24 Step 3.7 Flash Step 3.7 Flash low Lanzamiento: 2026-05-29
Puntuación 7.5 7.7
Rango #46 #42
Fiabilidad 10.0 10.0
Consistencia 8.8 8.4
Pruebas correctas
Tasa de aciertos por intento 54.0% 68.3%
Pruebas inestables 3 4
Ejecuciones totales 63 63
Costo por resultado 0.578 2.840
Costo total $0.058 $0.341
Precio de entrada $0.250 / 1M $0.200 / 1M
Precio de salida $0.750 / 1M $1.150 / 1M
Total de tokens de entrada 35,116 40,101
Tokens de salida 4,048 289,325
Tokens de razonamiento 61,219 0
Tiempo de respuesta (promedio) 2.24s 15.74s
Tiempo de respuesta (máximo) 14.63s 124.75s
Tiempo de respuesta (total) 44.72s 330.63s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#46 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#42 Step 3.7 Flash

low
Invalid SVG
Cost
$0.004
Time
25.3s
Tokens
3,072 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Trucos anti-IA Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 8.7 7.9 91.7% 1 4.02s 756 10,896 0
Programación Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0
Combinado Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 7.98s 13,683 6,426 0
Análisis y extracción de datos Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 7.3 5.8 83.3% 1 2.29s 7,398 2,667 0
Específico del dominio Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 5.3 7.2 44.4% 1 43.31s 828 104,487 0
Inteligencia general Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 3.4 9.3 0.0% 0 7.00s 525 4,604 0
Seguimiento de instrucciones Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.58s 735 1,857 0
Resolución de acertijos Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.5 9.9 33.3% 0 1.84s 756 3,564 0
Llamada de herramientas Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 3.25s 7,746 1,360 0
Cultura general Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 124.75s 237 134,779 0

Comparación rápida

Cambiar par de comparación

Claude Opus 4.6mediumvsStep 3.7 FlashlowStep 3.7 FlashlowvsGrok 4.3mediumMercury 2mediumvsGPT-5.3 ChatnoneQwen3.5-122B-A10BmediumvsStep 3.7 FlashlowKimi K2.6mediumDisponible gratisvsStep 3.7 FlashlowGemini 3.1 Flash LitemediumvsStep 3.7 FlashlowQwen3.5 Plus 2026-04-20mediumvsStep 3.7 FlashlowGemini 3.1 Flash Lite PreviewmediumvsStep 3.7 FlashlowMiniMax M3mediumvsStep 3.7 FlashlowStep 3.7 FlashlowvsGrok Build 0.1mediumClaude Sonnet 4.6mediumvsStep 3.7 FlashlowQwen3.6 PlusmediumvsStep 3.7 Flashlow