#87 KAT-Coder-Pro V2.5
default- लागत
- $0.010
- समय
- 29.0s
- टोकन
- 3,439 tok
सारांश
KAT-Coder-Pro V2.5 AI BENCHY पर 6.7 स्कोर करता है और #87 पर है। इसकी reliability 10.0, pass rate 68.2%, कुल लागत $0.476, और औसत response time 25.56s है।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
6.7
संगति
7.4
10.0
$0.476
कुल आउटपुट टोकन
135,861
कुल इनपुट टोकन
98,499
इनपुट कीमत
$0.740 / 1M
आउटपुट कीमत
$2.960 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
7
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 03:23 दोबारा परीक्षण | 6.7 | 10.0 | $0.487 | तुलना करें | |
| 2026-07-16 23:43 नया टेस्ट जोड़ा गया | 6.7 | 10.0 | $0.476 | वर्तमान रन | |
| 2026-07-14 11:05 पहला रन | 6.8 | 10.0 | $0.220 | तुलना करें |
इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-16 23:43 · नया टेस्ट जोड़ा गया | 66/66 प्रयास | 6.7 | 7.4 | 10.0 | 11/22 | 7 | 135,861 | 98,499 | $0.476 | 25.56s |
| 2026-07-14 11:05 · पहला रन | 63/63 प्रयास | 6.8 | 7.3 | 10.0 | 11/21 | 7 | 63,338 | 42,749 | $0.220 | 10.81s |
| अंतर | — | -0.1 | +0.1 | 0.0 | 0 | 0 | +72523 | +55750 | +$0.256 | +14754ms |
बेंचमार्क कवरेज अलग है: 66/66 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
कीमत का इतिहास
OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।
| तारीख | इनपुट कीमत | आउटपुट कीमत | कैश पढ़ने की कीमत | कैश लिखने की कीमत |
|---|---|---|---|---|
| 2026-07-14 11:25 | $0.740 / 1M | $2.960 / 1M | लागू नहीं | लागू नहीं |
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 8.7 | 7.9 | |
| कोडिंग | 6.1 | 4.7 | |
| संयुक्त | 4.1 | 5.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 3.6 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 3.2 | |
| निर्देश पालन | 9.8 | 10.0 | |
| पहेली समाधान | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |