AI BENCHY
Advertise here
#77

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-07-16 23:47 kwaipilot/kat-coder-pro-v2.5::medium
~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित
(high) (medium) (low) (none)

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 6.9 स्कोर करते आणि #77 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.467, आणि सरासरी response time 24.04s आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~700B एकूण (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.4

एकूण आउटपुट टोकन्स

135,464

एकूण इनपुट टोकन्स

87,907

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 63.6%

अस्थिर चाचण्या

7

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

24.04s

प्रतिसाद वेळ (कमाल): 257.00s

प्रतिसाद वेळ (एकूण): 528.92s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#77 KAT-Coder-Pro V2.5

medium
खर्च
$0.009
वेळ
25.6s
टोकन्स
2,939 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:24 पुन्हा चाचणी 6.9 10.0 $0.478 तुलना करा
2026-07-16 23:47 नवीन चाचणी जोडली 6.9 10.0 $0.467 सध्याची रन
2026-07-14 11:05 पहिला रन 7.5 10.0 $0.275 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 23:47 · नवीन चाचणी जोडली66/66 प्रयत्न6.97.410.011/227135,46487,907$0.46724.04s
2026-08-14 03:24 · पुन्हा चाचणी66/66 प्रयत्न6.97.010.011/228139,37587,916$0.47824.87s
फरक0.0+0.40.00-1-3911-9-$0.012-828ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-07-14 11:25 $0.740 / 1M $2.960 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.2 7.9
कोडिंग 7.8 10.0
संयुक्त 6.4 5.8
डेटा पार्सिंग आणि निष्कर्षण 7.3 5.9
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 4.7 3.1
सूचनांचे पालन 9.9 10.0
कोडी सोडवणे 5.9 4.5
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स