AI BENCHY
Advertise here
#108

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-08-14 03:25 kwaipilot/kat-coder-pro-v2.5::high
~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 7.2 स्कोर करते आणि #108 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.506, आणि सरासरी response time 22.11s आहे.

KAT-Coder-Pro V2.5 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर डोमेन-विशिष्ट हा सर्वात कमकुवत भाग आहे, rank #16.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~700B एकूण (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.8

एकूण आउटपुट टोकन्स

144,359

एकूण इनपुट टोकन्स

106,085

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 63.6%

अस्थिर चाचण्या

6

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

22.11s

प्रतिसाद वेळ (कमाल): 199.97s

प्रतिसाद वेळ (एकूण): 486.31s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#108 KAT-Coder-Pro V2.5

high
खर्च
$0.009
वेळ
26.4s
टोकन्स
3,117 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:25 पुन्हा चाचणी 7.2 10.0 $0.506 सध्याची रन
2026-07-16 23:38 नवीन चाचणी जोडली 7.2 10.0 $0.482 तुलना करा
2026-07-14 11:05 पहिला रन 7.7 10.0 $0.246 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 03:25 · सध्याची रन66/66 प्रयत्न7.27.810.011/226144,359106,085$0.50622.11s
2026-07-14 11:05 · पहिला रन63/63 प्रयत्न7.78.110.011/21572,10342,750$0.24612.30s
फरक-0.4-0.30.00+1+72256+63335+$0.261+9803ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.740 / 1M $2.960 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 7.0 8.0
कोडिंग 6.4 7.9
संयुक्त 7.3 5.8
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 4.4
Samanya Buddhimatta 5.1 10.0
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 8.2 7.2
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स