AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#101

KAT-Coder-Pro V2.5

Kwaipilot रिलीज़: 2026-07-14 परीक्षण किया गया: 2026-08-14 03:23 kwaipilot/kat-coder-pro-v2.5::low
~700B कुल (~72B सक्रिय)MoEबंद स्रोतअनुमानित

सारांश

KAT-Coder-Pro V2.5 AI BENCHY पर 7.3 स्कोर करता है और #101 पर है। इसकी reliability 10.0, pass rate 68.2%, कुल लागत $0.400, और औसत response time 20.20s है।

KAT-Coder-Pro V2.5 को अलग क्या बनाता है: यह निर्देश पालन में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि Samanya Buddhimatta इसकी सबसे कमजोर जगह है, जहाँ यह #17 पर है।

मॉडल विवरण

शोध की तारीख: 2026-08-12

अनुमानित
पैरामीटर
~700B कुल (~72B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
लाइसेंस
-

सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।

संगति

7.0

कुल आउटपुट टोकन

113,193

कुल इनपुट टोकन

87,682

इनपुट कीमत

$0.740 / 1M

आउटपुट कीमत

$2.960 / 1M

सही परीक्षण

गलत टेस्ट: 11

प्रति प्रयास पास दर: 68.2%

अस्थिर टेस्ट

8

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

20.20s

प्रतिक्रिया समय (अधिकतम): 209.15s

प्रतिक्रिया समय (कुल): 444.35s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#101 KAT-Coder-Pro V2.5

low
लागत
$0.016
समय
47.6s
टोकन
5,182 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 03:23 दोबारा परीक्षण 7.3 10.0 $0.400 वर्तमान रन
2026-07-16 23:38 नया टेस्ट जोड़ा गया 7.4 10.0 $0.387 तुलना करें
2026-07-14 11:05 पहला रन 8.0 9.9 $0.220 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

कीमत का इतिहास

OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।

तारीख इनपुट कीमत आउटपुट कीमत
2026-08-14 12:51 $0.740 / 1M $2.960 / 1M

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 6.9 5.8
कोडिंग 7.8 10.0
संयुक्त 6.4 5.8
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.5 4.4
Samanya Buddhimatta 4.1 2.7
निर्देश पालन 10.0 10.0
पहेली समाधान 6.4 4.4
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल