नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Anthropic: Claude Opus 4.8 vs Kwaipilot: KAT-Coder-Pro V2.5

सारांश

Claude Opus 4.8 (low) average score मध्ये पुढे आहे: 7.7 vs 7.5. KAT-Coder-Pro V2.5 (medium) चा benchmark खर्च कमी आहे: $0.275 vs $1.270. Claude Opus 4.8 (low) वेगवान आहे: 10.83s vs 12.95s, pass rates 79.4% vs 65.1%.

शिफारस केलेले मॉडेलKAT-Coder-Pro V2.5 (medium)Its score stays close to the best score here (7.5 vs 7.7), while costing about 4.6x less than Claude Opus 4.8 (low).

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-07-14

मेट्रिक Claude Opus 4.8 Claude Opus 4.8 low प्रकाशन: 2026-05-28 KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 medium प्रकाशन: 2026-07-14
स्कोअर 7.7 7.5
क्रमांक #47 #60
विश्वसनीयता 10.0 10.0
सुसंगतता 8.8 7.7
बरोबर चाचण्या
प्रति प्रयत्न पास दर 79.4% 65.1%
अस्थिर चाचण्या 3 6
एकूण रन 63 63
प्रति निकाल खर्च 8.466 2.498
एकूण खर्च $1.270 $0.275
इनपुट किंमत $5.000 / 1M $0.740 / 1M
आउटपुट किंमत $25.000 / 1M $2.960 / 1M
एकूण इनपुट टोकन्स 60,946 42,750
आउटपुट टोकन्स 31,771 2,098
रिझनिंग टोकन्स 6,831 80,027
प्रतिसाद वेळ (सरासरी) 10.83s 12.95s
प्रतिसाद वेळ (कमाल) 127.97s 81.45s
प्रतिसाद वेळ (एकूण) 227.39s 271.92s

जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#47 Claude Opus 4.8

low
खर्च
$0.031
वेळ
14.1s
टोकन्स
1,345 tok

#60 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Claude Opus 4.8 6.6 4.6 77.8% 2 7.58s 10,590 3,637 809
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 33.10s 7,893 416 33,658

झटपट तुलना

तुलना जोडी बदला