#124 KAT-Coder-Air V2.5
low- लागत
- $0.004
- समय
- 29.9s
- टोकन
- 6,008 tok
सारांश
KAT Coder AIR V2.5 AI BENCHY पर 6.0 स्कोर करता है और #124 पर है। इसकी reliability 9.7, pass rate 46.0%, कुल लागत $0.030, और औसत response time 6.47s है।
KAT Coder AIR V2.5 को अलग क्या बनाता है: यह निर्देश पालन में सबसे अलग दिखता है, जहाँ इसकी रैंक #4 है; जबकि कोडिंग इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
6.0
संगति
7.6
9.7
$0.030
कुल आउटपुट टोकन
39,091
कुल इनपुट टोकन
42,464
इनपुट कीमत
$0.150 / 1M
आउटपुट कीमत
$0.600 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
6
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 03:16 दोबारा परीक्षण | 5.4 | 9.9 | $0.046 | तुलना करें | |
| 2026-07-16 23:32 नया टेस्ट जोड़ा गया | 5.4 | 9.9 | $0.041 | तुलना करें | |
| 2026-07-14 11:05 पहला रन | 6.0 | 9.7 | $0.030 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-14 11:05 · पहला रन | 63/63 प्रयास | 6.0 | 7.6 | 9.7 | 7/21 | 6 | 39,091 | 42,464 | $0.030 | 6.47s |
| 2026-07-16 23:32 · नया टेस्ट जोड़ा गया | 66/66 प्रयास | 5.4 | 7.4 | 9.9 | 7/22 | 7 | 52,895 | 61,085 | $0.041 | 10.09s |
| अंतर | — | +0.6 | +0.2 | -0.2 | 0 | -1 | -13804 | -18621 | -$0.012 | -3626ms |
बेंचमार्क कवरेज अलग है: 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 66/66 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
कीमत का इतिहास
OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।
| तारीख | इनपुट कीमत | आउटपुट कीमत | कैश पढ़ने की कीमत | कैश लिखने की कीमत |
|---|---|---|---|---|
| 2026-07-14 11:25 | $0.150 / 1M | $0.600 / 1M | लागू नहीं | लागू नहीं |
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 7.3 | 5.8 | |
| कोडिंग | 3.5 | 7.3 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 6.5 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 5.0 | 10.0 | |
| निर्देश पालन | 9.8 | 10.0 | |
| पहेली समाधान | 3.1 | 4.6 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |