नेव्हिगेशन
AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com

AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

KAT-Coder-Pro V2.5 (medium) average score मध्ये पुढे आहे: 7.5 vs 7.2. KAT-Coder-Pro V2.5 (medium) चा benchmark खर्च कमी आहे: $0.275 vs $0.539. Claude Opus 4.8 वेगवान आहे: 3.48s vs 12.95s, pass rates 61.9% vs 65.1%.

शिफारस केलेले मॉडेलKAT-Coder-Pro V2.5 (medium)It has the best score here (7.5), while costing about 2.0x less than Claude Opus 4.8.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक Claude Opus 4.8 Claude Opus 4.8 none प्रकाशन: 2026-05-28 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर 7.2 7.5
क्रमांक #73 #60
विश्वसनीयता 10.0 10.0
सुसंगतता 9.2 7.7
बरोबर चाचण्या
प्रति प्रयत्न पास दर 61.9% 65.1%
अस्थिर चाचण्या 2 6
एकूण रन 63 63
प्रति निकाल खर्च 4.485 2.498
एकूण खर्च $0.539 $0.275
इनपुट किंमत $5.000 / 1M $0.740 / 1M
आउटपुट किंमत $25.000 / 1M $2.960 / 1M
एकूण इनपुट टोकन्स 67,104 42,750
आउटपुट टोकन्स 8,107 2,098
रिझनिंग टोकन्स 0 80,027
प्रतिसाद वेळ (सरासरी) 3.48s 12.95s
प्रतिसाद वेळ (कमाल) 17.73s 81.45s
प्रतिसाद वेळ (एकूण) 73.00s 271.92s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#73 Claude Opus 4.8

none
खर्च
$0.053
वेळ
22.0s
टोकन्स
2,253 tok

#60 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Opus 4.8 5.5 10.0 33.3% 0 3.29s 10,590 1,332 0
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658

झटपट तुलना

तुलना जोडी बदला