AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#101

KAT-Coder-Pro V2.5

Kwaipilot प्रकाशन: 2026-07-14 चाचणी तारीख: 2026-08-14 03:23 kwaipilot/kat-coder-pro-v2.5::low
~700B एकूण (~72B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

KAT-Coder-Pro V2.5 AI BENCHY वर 7.3 स्कोर करते आणि #101 वर आहे. याची reliability 10.0, pass rate 68.2%, एकूण खर्च $0.400, आणि सरासरी response time 20.20s आहे.

KAT-Coder-Pro V2.5 खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर Samanya Buddhimatta हा सर्वात कमकुवत भाग आहे, rank #17.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~700B एकूण (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

7.0

एकूण आउटपुट टोकन्स

113,193

एकूण इनपुट टोकन्स

87,682

इनपुट किंमत

$0.740 / 1M

आउटपुट किंमत

$2.960 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 11

प्रति प्रयत्न पास दर: 68.2%

अस्थिर चाचण्या

8

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

20.20s

प्रतिसाद वेळ (कमाल): 209.15s

प्रतिसाद वेळ (एकूण): 444.35s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#101 KAT-Coder-Pro V2.5

low
खर्च
$0.016
वेळ
47.6s
टोकन्स
5,182 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 03:23 पुन्हा चाचणी 7.3 10.0 $0.400 सध्याची रन
2026-07-16 23:38 नवीन चाचणी जोडली 7.4 10.0 $0.387 तुलना करा
2026-07-14 11:05 पहिला रन 8.0 9.9 $0.220 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 03:23 · सध्याची रन66/66 प्रयत्न7.37.010.011/228113,19387,682$0.40020.20s
2026-07-16 23:38 · नवीन चाचणी जोडली66/66 प्रयत्न7.47.010.011/228108,64087,673$0.38719.47s
फरक0.00.00.000+4553+9+$0.014+729ms

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.740 / 1M $2.960 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.9 5.8
कोडिंग 7.8 10.0
संयुक्त 6.4 5.8
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.5 4.4
Samanya Buddhimatta 4.1 2.7
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 6.4 4.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स