AI BENCHY
Advertise here
#35

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-07-14 11:05 kwaipilot/kat-coder-pro-v2.5::low
~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 8.0 स्कोर करते आणि #35 वर आहे. याची reliability 9.9, pass rate 71.4%, एकूण खर्च $0.220, आणि सरासरी response time 10.44s आहे.

KAT-Coder-Pro V2.5 खास का आहे: या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~700B एकूण (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.3

एकूण आउटपुट टोकन्स

63,300

एकूण इनपुट टोकन्स

42,750

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 10

प्रति प्रयत्न पास दर: 71.4%

अस्थिर चाचण्या

7

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

10.44s

प्रतिसाद वेळ (कमाल): 51.34s

प्रतिसाद वेळ (एकूण): 219.17s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 KAT-Coder-Pro V2.5

low
खर्च
$0.016
वेळ
47.6s
टोकन्स
5,182 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:23 पुन्हा चाचणी 7.3 10.0 $0.400 तुलना करा
2026-07-16 23:38 नवीन चाचणी जोडली 7.4 10.0 $0.387 तुलना करा
2026-07-14 11:05 पहिला रन 8.0 9.9 $0.220 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-14 11:05 · पहिला रन63/63 प्रयत्न8.07.39.911/21763,30042,750$0.22010.44s
2026-07-16 23:38 · नवीन चाचणी जोडली66/66 प्रयत्न7.47.010.011/228108,64087,673$0.38719.47s
फरक+0.6+0.3-0.10-1-45340-44923-$0.168-9032ms

बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-07-14 11:25 $0.740 / 1M $2.960 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.9 5.8
कोडिंग 7.8 10.0
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 4.1 4.4
Samanya Buddhimatta 4.1 2.7
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 6.4 4.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स