AI BENCHY
Advertise here
#77

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-07-16 23:47 kwaipilot/kat-coder-pro-v2.5::medium
~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित
(high) (medium) (low) (none)

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 6.9 स्कोर करते आणि #77 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.467, आणि सरासरी response time 24.04s आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~700B एकूण (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

6.9

सुसंगतता

7.4

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.467

एकूण आउटपुट टोकन्स

135,464

एकूण इनपुट टोकन्स

87,907

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 63.6%

अस्थिर चाचण्या

7

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

24.04s

प्रतिसाद वेळ (कमाल): 257.00s

प्रतिसाद वेळ (एकूण): 528.92s

चुकीचे उत्तर: 9 API त्रुटी: 1 सूचनांचे पालन केले नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#77 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:24 पुन्हा चाचणी 6.9 10.0 $0.478 तुलना करा
2026-07-16 23:47 नवीन चाचणी जोडली 6.9 10.0 $0.467 सध्याची रन
2026-07-14 11:05 पहिला रन 7.5 10.0 $0.275 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 23:47 · नवीन चाचणी जोडली66/66 प्रयत्न6.97.410.011/227135,46487,907$0.46724.04s
2026-07-14 11:05 · पहिला रन63/63 प्रयत्न7.57.710.011/21682,12542,750$0.27512.95s
फरक—-0.6-0.30.00+1+53339+45157+$0.192+11093ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-07-14 11:25 $0.740 / 1M $2.960 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

KAT-Coder-Pro V2.5mediumvsKimi K2.5mediumKAT-Coder-Pro V2.5mediumvsQwen3.7 FlashmediumKAT-Coder-Pro V2.5mediumvsSeed-2.0-MinimediumKAT-Coder-Pro V2.5mediumvsSeed-2.0-CodehighKAT-Coder-Pro V2.5mediumvsGrok 4.20mediumKAT-Coder-Pro V2.5mediumvsGemini 3.5 FlashnoneKAT-Coder-Pro V2.5mediumvsMercury 2mediumKAT-Coder-Pro V2.5mediumvsQwen3.6 FlashmediumKAT-Coder-Pro V2.5mediumvsGPT-5.5noneKAT-Coder-Pro V2.5mediumvsStep 3.7 Flashhigh

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.2 7.9
कोडिंग 7.8 10.0
संयुक्त 6.4 5.8
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.9
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 4.7 3.1
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 5.9 4.5
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स