नेविगेशन
AI BENCHY
Advertise here

AI BENCHY तुलना

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

KAT-Coder-Pro V2.5 (low) average score में आगे है: 8.0 vs 7.8. KAT-Coder-Pro V2.5 (low) की benchmark लागत कम है: $0.220 vs $1.418. KAT-Coder-Pro V2.5 (low) तेज है: 10.44s vs 17.06s, pass rates 65.1% vs 71.4%.

अनुशंसित मॉडलKAT-Coder-Pro V2.5 (low)It has the best score here (8.0), while costing about 6.5x less than Claude Sonnet 4.6 (medium).

बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-07-14

मेट्रिक Claude Sonnet 4.6 Claude Sonnet 4.6 medium रिलीज़: 2026-02-17 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low रिलीज़: 2026-07-14
स्कोर 7.8 8.0
रैंक #40 #35
विश्वसनीयता 10.0 9.9
संगति 9.1 7.3
सही परीक्षण
प्रति प्रयास पास दर 65.1% 71.4%
अस्थिर टेस्ट 2 7
कुल रन 63 63
प्रति परिणाम लागत 10.904 1.991
कुल लागत $1.418 $0.220
इनपुट कीमत $3.000 / 1M $0.740 / 1M
आउटपुट कीमत $15.000 / 1M $2.960 / 1M
कुल इनपुट टोकन 49,112 42,750
आउटपुट टोकन 54,703 2,167
रीजनिंग टोकन 29,970 61,133
प्रतिक्रिया समय (औसत) 17.06s 10.44s
प्रतिक्रिया समय (अधिकतम) 46.35s 51.34s
प्रतिक्रिया समय (कुल) 221.83s 219.17s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#40 Claude Sonnet 4.6

medium
अमान्य SVG
लागत
$0.000
समय
300.0s
टोकन
0 tok

#35 KAT-Coder-Pro V2.5

low
लागत
$0.016
समय
47.6s
टोकन
5,182 tok

स्कोर के अनुसार शीर्ष मॉडल

स्कोर बनाम कुल लागत

प्रतिक्रिया समय (औसत)

स्कोर vs प्रतिक्रिया समय (औसत)

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

श्रेणी विवरण

कोडिंग स्कोर संगति प्रति प्रयास पास दर अस्थिर टेस्ट सही परीक्षण प्रतिक्रिया समय (औसत) इनपुट टोकन आउटपुट टोकन रीजनिंग टोकन
Claude Sonnet 4.6 5.7 6.6 44.4% 1 33.29s 6,995 16,089 3,686
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 24.87s 7,893 402 24,945

त्वरित तुलना

तुलना जोड़ी बदलें