#257

KAT-Coder-Air V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-08-14 03:15 kwaipilot/kat-coder-air-v2.5::none

~35B एकूण (~3B सक्रिय)MoEबंद स्रोतअंदाजित

(high) (medium) (low) (none)

सारांश

KAT-Coder-Air V2.5 AI BENCHY वर 4.8 स्कोर करते आणि #257 वर आहे. याची reliability 10.0, pass rate 36.4%, एकूण खर्च $0.070, आणि सरासरी response time 12.46s आहे.

KAT-Coder-Air V2.5 खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडी सोडवणे हा सर्वात कमकुवत भाग आहे, rank #12.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित

पॅरामीटर्स: ~35B एकूण (~3B सक्रिय)
आर्किटेक्चर: MoE
उपलब्धता: बंद स्रोत
परवाना: -

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

4.8

सुसंगतता

7.2

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.070

एकूण आउटपुट टोकन्स

97,752

एकूण इनपुट टोकन्स

69,376

इनपुट किंमत

$0.150 / 1M

आउटपुट किंमत

$0.600 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 17

प्रति प्रयत्न पास दर: 36.4%

अस्थिर चाचण्या

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

12.46s

प्रतिसाद वेळ (कमाल): 121.05s

प्रतिसाद वेळ (एकूण): 274.11s

चुकीचे उत्तर: 13 अतिरिक्त फॉरमॅटिंग: 3 API त्रुटी: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#257 KAT-Coder-Air V2.5

none

खर्च: $0.002
वेळ: 14.5s
टोकन्स: 2,619 tok

रन इतिहास

चाचणी तारीख	स्कोअर	विश्वसनीयता	एकूण खर्च	तुलना करा
2026-08-14 03:15 पुन्हा चाचणी	4.8	10.0	$0.070	सध्याची रन
2026-07-16 23:28 नवीन चाचणी जोडली	4.8	10.0	$0.067	तुलना करा
2026-07-14 11:05 पहिला रन	4.9	10.0	$0.037	तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रन	बेंचमार्क कव्हरेज	स्कोअर	सुसंगतता	विश्वसनीयता	बरोबर चाचण्या	अस्थिर चाचण्या	एकूण आउटपुट टोकन्स	एकूण इनपुट टोकन्स	एकूण खर्च	प्रतिसाद वेळ (सरासरी)
2026-08-14 03:15 · सध्याची रन	66/66 प्रयत्न	4.8	7.2	10.0	5/22	7	97,752	69,376	$0.070	12.46s
2026-07-14 11:05 · पहिला रन	63/63 प्रयत्न	4.9	7.1	10.0	5/21	7	49,933	41,328	$0.037	6.99s
फरक	—	-0.1	+0.1	0.0	0	0	+47819	+28048	+$0.033	+5470ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख	इनपुट किंमत	आउटपुट किंमत
2026-08-14 12:51	$0.150 / 1M	$0.600 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी	स्कोअर	सुसंगतता
अँटी-एआय युक्त्या	5.3	5.6
कोडिंग	3.3	9.6
संयुक्त	3.8	1.6
डेटा पार्सिंग आणि निष्कर्षण	6.3	5.8
डोमेन-विशिष्ट	3.0	10.0
Samanya Buddhimatta	5.0	10.0
सूचनांचे पालन	9.9	10.0
कोडी सोडवणे	2.9	4.4
टूल कॉलिंग	10.0	10.0
सामान्य ज्ञान	3.0	10.0

KAT-Coder-Air V2.5

मॉडेलची माहिती

Hamster playing table tennis

#257 KAT-Coder-Air V2.5

चार्ट्स

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर vs एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

तुलना केलेली मॉडेल्स