AI BENCHY
Advertise here
#206

KAT-Coder-Air V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-08-14 03:22 kwaipilot/kat-coder-air-v2.5::high
~35B एकूण (~3B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

KAT-Coder-Air V2.5 AI BENCHY वर 5.6 स्कोर करते आणि #206 वर आहे. याची reliability 9.8, pass rate 42.4%, एकूण खर्च $0.077, आणि सरासरी response time 15.87s आहे.

KAT-Coder-Air V2.5 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #11. हे असामान्यपणे जास्त reasoning tokens वापरते, ज्यामुळे runs हळू किंवा महाग होऊ शकतात.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~35B एकूण (~3B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

8.1

एकूण आउटपुट टोकन्स

114,654

एकूण इनपुट टोकन्स

50,423

इनपुट किंमत

$0.150 / 1M

आउटपुट किंमत

$0.600 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 15

प्रति प्रयत्न पास दर: 42.4%

अस्थिर चाचण्या

5

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

15.87s

प्रतिसाद वेळ (कमाल): 118.35s

प्रतिसाद वेळ (एकूण): 349.16s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#206 KAT-Coder-Air V2.5

high
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:22 पुन्हा चाचणी 5.6 9.8 $0.077 सध्याची रन
2026-07-16 23:35 नवीन चाचणी जोडली 5.6 9.9 $0.077 तुलना करा
2026-07-14 11:05 पहिला रन 6.2 9.7 $0.064 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 03:22 · सध्याची रन66/66 प्रयत्न5.68.19.87/225114,65450,423$0.07715.87s
2026-07-14 11:05 · पहिला रन63/63 प्रयत्न6.27.69.77/21695,66741,748$0.06411.02s
फरक-0.6+0.5+0.10-1+18987+8675+$0.013+4854ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.150 / 1M $0.600 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.9 5.8
कोडिंग 4.3 7.3
संयुक्त 6.5 10.0
डेटा पार्सिंग आणि निष्कर्षण 6.5 10.0
डोमेन-विशिष्ट 3.0 10.0
Samanya Buddhimatta 5.1 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 3.5 4.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स