नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Anthropic: Claude Sonnet 4.6 vs StepFun: Step 3.7 Flash

सारांश

Claude Sonnet 4.6 (medium) average score में आगे है: 7.8 vs 7.7. Step 3.7 Flash (low) की benchmark लागत कम है: $0.341 vs $1.418. Step 3.7 Flash (low) तेज है: 15.74s vs 17.06s, pass rates 65.1% vs 68.3%.

अनुशंसित मॉडलStep 3.7 Flash (low)Its score stays close to the best score here (7.7 vs 7.8), while costing about 4.2x less than Claude Sonnet 4.6 (medium).

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक Claude Sonnet 4.6 Claude Sonnet 4.6 medium रिलीज़: 2026-02-17 Step 3.7 Flash Step 3.7 Flash low रिलीज़: 2026-05-29
स्कोर 7.8 7.7
रैंक #40 #51
विश्वसनीयता 10.0 10.0
संगति 9.1 8.4
सही परीक्षण
प्रति प्रयास पास दर 65.1% 68.3%
अस्थिर टेस्ट 2 4
कुल रन 63 63
प्रति परिणाम लागत 10.904 2.840
कुल लागत $1.418 $0.341
इनपुट कीमत $3.000 / 1M $0.200 / 1M
आउटपुट कीमत $15.000 / 1M $1.150 / 1M
कुल इनपुट टोकन 49,112 40,101
आउटपुट टोकन 54,703 289,325
रीजनिंग टोकन 29,970 0
प्रतिक्रिया समय (औसत) 17.06s 15.74s
प्रतिक्रिया समय (अधिकतम) 46.35s 124.75s
प्रतिक्रिया समय (कुल) 221.83s 330.63s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#40 Claude Sonnet 4.6

medium
अमान्य SVG
लागत
$0.000
समय
300.0s
टोकन
0 tok

#51 Step 3.7 Flash

low
अमान्य SVG
लागत
$0.004
समय
25.3s
टोकन
3,072 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Claude Sonnet 4.6 5.7 6.6 44.4% 1 33.29s 6,995 16,089 3,686
Step 3.7 Flash 8.2 7.2 88.9% 1 9.46s 7,437 18,685 0

त्वरित तुलना

तुलना जोड़ी बदलें