Navegación
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs StepFun: Step 3.7 Flash

Resumen

Comparación benchmark de Mercury 2 vs Step 3.7 Flash: Step 3.7 Flash lidera en puntuación media con 7.0 vs 6.6. Mercury 2 tiene menor coste de benchmark con $0.058 vs $1.148. Mercury 2 es más rápido con 2.24s vs 64.46s, con tasas de acierto de 54.0% vs 63.5%.

Modelo recomendado: Mercury 2 - Su puntuación se mantiene cerca de la mejor aquí (6.6 vs 7.0) y cuesta aproximadamente 19.9x menos que Step 3.7 Flash.

Benchmarks generados a partir de los suites de prueba de AI BENCHY en: 2026-06-04

Métrica Mercury 2 Mercury 2 medium Lanzamiento: 2026-02-24 Step 3.7 Flash Step 3.7 Flash high Lanzamiento: 2026-05-29
Puntuación 6.6 7.0
Rango #81 #71
Fiabilidad 10.0 10.0
Consistencia 8.8 8.2
Pruebas correctas
Tasa de aciertos por intento 54.0% 63.5%
Pruebas inestables 3 4
Ejecuciones totales 63 63
Costo por resultado 0.578 10.434
Costo total $0.058 $1.148
Precio de entrada $0.250 / 1M $0.200 / 1M
Precio de salida $0.750 / 1M $1.150 / 1M
Total de tokens de entrada 35,116 38,391
Tokens de salida 4,048 991,355
Tokens de razonamiento 61,219 0
Tiempo de respuesta (promedio) 2.24s 64.46s
Tiempo de respuesta (máximo) 14.63s 364.99s
Tiempo de respuesta (total) 44.72s 1353.57s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#81 Mercury 2

medium
Cost
$0.002
Time
2.1s
Tokens
1,702 tok

#71 Step 3.7 Flash

high
Cost
$0.007
Time
63.6s
Tokens
6,030 tok

Mejores modelos por puntuación

Puntuación vs costo total

Tiempo de respuesta (promedio)

Puntuación vs Tiempo de respuesta (promedio)

Total de tokens de salida

Puntuación vs Total de tokens de salida

Desglose por categoría

Trucos anti-IA Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 6.9 9.9 50.0% 0 1.12s 554 2,546 2,609
Step 3.7 Flash 10.0 10.0 100.0% 0 13.40s 696 42,656 0
Programación Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 8.2 7.7 77.8% 1 2.04s 7,065 296 11,328
Step 3.7 Flash 4.0 6.0 22.2% 1 206.21s 6,057 327,340 0
Combinado Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 3.28s 12,909 268 4,887
Step 3.7 Flash 10.0 10.0 100.0% 0 13.01s 13,638 8,802 0
Análisis y extracción de datos Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 7.3 5.9 83.3% 1 1.11s 6,234 183 1,656
Step 3.7 Flash 10.0 10.0 100.0% 0 14.72s 7,368 23,113 0
Específico del dominio Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 2.9 7.2 11.1% 1 6.48s 695 41 30,754
Step 3.7 Flash 4.1 4.4 44.5% 2 149.64s 783 410,502 0
Inteligencia general Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 4.8 10.0 0.0% 0 821ms 456 137 542
Step 3.7 Flash 5.5 10.0 0.0% 0 4.17s 510 2,862 0
Seguimiento de instrucciones Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 1.07s 340 14 958
Step 3.7 Flash 9.8 10.0 100.0% 0 1.52s 705 2,010 0
Resolución de acertijos Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 5.4 10.0 33.3% 0 949ms 601 361 2,781
Step 3.7 Flash 5.3 7.2 44.4% 1 10.22s 711 25,422 0
Llamada de herramientas Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 10.0 10.0 100.0% 0 1.89s 6,080 180 1,956
Step 3.7 Flash 10.0 10.0 100.0% 0 2.79s 7,701 1,172 0
Cultura general Puntuación Consistencia Tasa de aciertos por intento Pruebas inestables Pruebas correctas Tiempo de respuesta (promedio) Tokens de entrada Tokens de salida Tokens de razonamiento
Mercury 2 3.0 10.0 0.0% 0 2.58s 182 22 3,748
Step 3.7 Flash 3.0 10.0 0.0% 0 149.34s 222 147,476 0

Comparación rápida

Cambiar par de comparación

GPT-5.4 NanomediumvsStep 3.7 FlashhighClaude Opus 4.6mediumvsStep 3.7 FlashhighClaude Opus 4.8nonevsStep 3.7 FlashhighMiniMax M3mediumvsStep 3.7 FlashhighDeepSeek V3.2mediumvsStep 3.7 FlashhighQwen3.5-35B-A3BmediumvsStep 3.7 FlashhighStep 3.7 FlashhighvsGrok 4.20mediumGemma 4 31BnoneDisponible gratisvsMercury 2mediumSeed-2.0-MinimediumvsStep 3.7 FlashhighStep 3.7 FlashhighvsMiMo-V2-FlashmediumGPT-5.3 ChatnonevsStep 3.7 FlashhighClaude Sonnet 4.6nonevsMercury 2medium