#65 KAT-Coder-Pro V2.5
high- खर्च
- $0.009
- वेळ
- 26.4s
- टोकन्स
- 3,117 tok
सारांश
KAT-Coder-Pro V2.5 AI BENCHY वर 7.2 स्कोर करते आणि #65 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.482, आणि सरासरी response time 20.83s आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.2
सुसंगतता
7.8
10.0
$0.482
एकूण आउटपुट टोकन्स
136,164
एकूण इनपुट टोकन्स
106,076
इनपुट किंमत
$0.740 / 1M
आउटपुट किंमत
$2.960 / 1M
अस्थिर चाचण्या
6
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:25 पुन्हा चाचणी | 7.2 | 10.0 | $0.506 | तुलना करा | |
| 2026-07-16 23:38 नवीन चाचणी जोडली | 7.2 | 10.0 | $0.482 | सध्याची रन | |
| 2026-07-14 11:05 पहिला रन | 7.7 | 10.0 | $0.246 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-16 23:38 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.2 | 7.8 | 10.0 | 11/22 | 6 | 136,164 | 106,076 | $0.482 | 20.83s |
| 2026-07-14 11:05 · पहिला रन | 63/63 प्रयत्न | 7.7 | 8.1 | 10.0 | 11/21 | 5 | 72,103 | 42,750 | $0.246 | 12.30s |
| फरक | — | -0.4 | -0.3 | 0.0 | 0 | +1 | +64061 | +63326 | +$0.237 | +8530ms |
बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत |
|---|---|---|
| 2026-07-14 11:25 | $0.740 / 1M | $2.960 / 1M |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 7.0 | 8.0 | |
| कोडिंग | 6.4 | 7.9 | |
| संयुक्त | 7.3 | 5.8 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 4.4 | |
| Samanya Buddhimatta | 5.1 | 10.0 | |
| सूचनांचे पालन | 9.9 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |