नेव्हिगेशन
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

KAT-Coder-Pro V2.5 (low) average score मध्ये पुढे आहे: 8.0 vs 7.8. KAT-Coder-Pro V2.5 (low) चा benchmark खर्च कमी आहे: $0.220 vs $1.418. KAT-Coder-Pro V2.5 (low) वेगवान आहे: 10.44s vs 17.06s, pass rates 65.1% vs 71.4%.

शिफारस केलेले मॉडेलKAT-Coder-Pro V2.5 (low)It has the best score here (8.0), while costing about 6.5x less than Claude Sonnet 4.6 (medium).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक Claude Sonnet 4.6 Claude Sonnet 4.6 medium प्रकाशन: 2026-02-17 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low प्रकाशन: 2026-07-14
स्कोअर 7.8 8.0
क्रमांक #40 #35
विश्वसनीयता 10.0 9.9
सुसंगतता 9.1 7.3
बरोबर चाचण्या
प्रति प्रयत्न पास दर 65.1% 71.4%
अस्थिर चाचण्या 2 7
एकूण रन 63 63
प्रति निकाल खर्च 10.904 1.991
एकूण खर्च $1.418 $0.220
इनपुट किंमत $3.000 / 1M $0.740 / 1M
आउटपुट किंमत $15.000 / 1M $2.960 / 1M
एकूण इनपुट टोकन्स 49,112 42,750
आउटपुट टोकन्स 54,703 2,167
रिझनिंग टोकन्स 29,970 61,133
प्रतिसाद वेळ (सरासरी) 17.06s 10.44s
प्रतिसाद वेळ (कमाल) 46.35s 51.34s
प्रतिसाद वेळ (एकूण) 221.83s 219.17s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#40 Claude Sonnet 4.6

medium
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

#35 KAT-Coder-Pro V2.5

low
खर्च
$0.016
वेळ
47.6s
टोकन्स
5,182 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Sonnet 4.6 5.7 6.6 44.4% 1 33.29s 6,995 16,089 3,686
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 24.87s 7,893 402 24,945

झटपट तुलना

तुलना जोडी बदला