#60

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-07-14 11:05 kwaipilot/kat-coder-pro-v2.5::medium

~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित

(high) (medium) (low) (default)

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 7.5 स्कोर करते आणि #60 वर आहे. याची reliability 10.0, pass rate 65.1%, एकूण खर्च $0.275, आणि सरासरी response time 12.95s आहे.

KAT-Coder-Pro V2.5 खास का आहे: या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित

पॅरामीटर्स: ~700B एकूण (~72B सक्रिय)
आर्किटेक्चर: MoE
उपलब्धता: बंद स्रोत
परवाना: -

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

7.5

सुसंगतता

7.7

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.275

एकूण आउटपुट टोकन्स

82,125

एकूण इनपुट टोकन्स

42,750

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

कॅश वाचण्याची किंमत

लागू नाही

कॅश लिहिण्याची किंमत

लागू नाही

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

बरोबर चाचण्या

चुकीच्या चाचण्या: 10

प्रति प्रयत्न पास दर: 65.1%

अस्थिर चाचण्या

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.95s

प्रतिसाद वेळ (कमाल): 81.45s

प्रतिसाद वेळ (एकूण): 271.92s

चुकीचे उत्तर: 9 सूचनांचे पालन केले नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#60 KAT-Coder-Pro V2.5

medium

खर्च: $0.009
वेळ: 25.6s
टोकन्स: 2,939 tok

रन इतिहास

चाचणी तारीख	स्कोअर	विश्वसनीयता	एकूण खर्च	तुलना करा
2026-08-14 03:24 पुन्हा चाचणी	6.9	10.0	$0.478	तुलना करा
2026-07-16 23:47 नवीन चाचणी जोडली	6.9	10.0	$0.467	तुलना करा
2026-07-14 11:05 पहिला रन	7.5	10.0	$0.275	सध्याची रन

रन तुलना

रन	बेंचमार्क कव्हरेज	स्कोअर	सुसंगतता	विश्वसनीयता	बरोबर चाचण्या	अस्थिर चाचण्या	एकूण आउटपुट टोकन्स	एकूण इनपुट टोकन्स	एकूण खर्च	प्रतिसाद वेळ (सरासरी)
2026-07-14 11:05 · पहिला रन	63/63 प्रयत्न	7.5	7.7	10.0	11/21	6	82,125	42,750	$0.275	12.95s
2026-07-16 23:47 · नवीन चाचणी जोडली	66/66 प्रयत्न	6.9	7.4	10.0	11/22	7	135,464	87,907	$0.467	24.04s
फरक	—	+0.6	+0.3	0.0	0	-1	-53339	-45157	-$0.192	-11093ms

बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख	इनपुट किंमत	आउटपुट किंमत	कॅश वाचण्याची किंमत	कॅश लिहिण्याची किंमत
2026-07-14 11:25	$0.740 / 1M	$2.960 / 1M	लागू नाही	लागू नाही

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी	स्कोअर	सुसंगतता
अँटी-एआय युक्त्या	8.2	7.9
कोडिंग	7.8	10.0
संयुक्त	10.0	10.0
डेटा पार्सिंग आणि निष्कर्षण	7.3	5.9
डोमेन-विशिष्ट	2.9	7.2
Samanya Buddhimatta	4.7	3.1
सूचनांचे पालन	9.9	10.0
कोडी सोडवणे	5.9	4.5
टूल कॉलिंग	10.0	10.0
सामान्य ज्ञान	3.0	10.0

KAT-Coder-Pro V2.5

मॉडेलची माहिती

Hamster playing table tennis

#60 KAT-Coder-Pro V2.5

चार्ट्स

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर vs एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

तुलना केलेली मॉडेल्स