AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#110

KAT-Coder-Air V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-07-14 11:05 kwaipilot/kat-coder-air-v2.5::high
~35B एकूण (~3B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

KAT-Coder-Air V2.5 AI BENCHY वर 6.2 स्कोर करते आणि #110 वर आहे. याची reliability 9.7, pass rate 46.0%, एकूण खर्च $0.064, आणि सरासरी response time 11.02s आहे.

KAT-Coder-Air V2.5 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~35B एकूण (~3B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.6

एकूण आउटपुट टोकन्स

95,667

एकूण इनपुट टोकन्स

41,748

इनपुट किंमत

$0.150 / 1M

आउटपुट किंमत

$0.600 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 14

प्रति प्रयत्न पास दर: 46.0%

अस्थिर चाचण्या

6

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

11.02s

प्रतिसाद वेळ (कमाल): 104.98s

प्रतिसाद वेळ (एकूण): 231.37s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#110 KAT-Coder-Air V2.5

high
अवैध SVG
खर्च
$0.000
वेळ
300.0s
टोकन्स
0 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:22 पुन्हा चाचणी 5.6 9.8 $0.077 तुलना करा
2026-07-16 23:35 नवीन चाचणी जोडली 5.6 9.9 $0.077 तुलना करा
2026-07-14 11:05 पहिला रन 6.2 9.7 $0.064 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-14 11:05 · पहिला रन63/63 प्रयत्न6.27.69.77/21695,66741,748$0.06411.02s
2026-08-14 03:22 · पुन्हा चाचणी66/66 प्रयत्न5.68.19.87/225114,65450,423$0.07715.87s
फरक+0.6-0.5-0.10+1-18987-8675-$0.013-4854ms

बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-07-14 11:25 $0.150 / 1M $0.600 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.9 5.8
कोडिंग 4.3 7.3
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 6.5 10.0
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 5.1 10.0
सूचनांचे पालन 9.8 10.0
कोडी सोडवणे 3.5 4.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स