#108 KAT-Coder-Pro V2.5
high- खर्च
- $0.009
- वेळ
- 26.4s
- टोकन्स
- 3,117 tok
सारांश
KAT-Coder-Pro V2.5 AI BENCHY वर 7.2 स्कोर करते आणि #108 वर आहे. याची reliability 10.0, pass rate 63.6%, एकूण खर्च $0.506, आणि सरासरी response time 22.11s आहे.
KAT-Coder-Pro V2.5 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर डोमेन-विशिष्ट हा सर्वात कमकुवत भाग आहे, rank #16.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.2
सुसंगतता
7.8
10.0
$0.506
एकूण आउटपुट टोकन्स
144,359
एकूण इनपुट टोकन्स
106,085
इनपुट किंमत
$0.740 / 1M
आउटपुट किंमत
$2.960 / 1M
अस्थिर चाचण्या
6
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:25 पुन्हा चाचणी | 7.2 | 10.0 | $0.506 | सध्याची रन | |
| 2026-07-16 23:38 नवीन चाचणी जोडली | 7.2 | 10.0 | $0.482 | तुलना करा | |
| 2026-07-14 11:05 पहिला रन | 7.7 | 10.0 | $0.246 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-08-14 03:25 · सध्याची रन | 66/66 प्रयत्न | 7.2 | 7.8 | 10.0 | 11/22 | 6 | 144,359 | 106,085 | $0.506 | 22.11s |
| 2026-07-14 11:05 · पहिला रन | 63/63 प्रयत्न | 7.7 | 8.1 | 10.0 | 11/21 | 5 | 72,103 | 42,750 | $0.246 | 12.30s |
| फरक | — | -0.4 | -0.3 | 0.0 | 0 | +1 | +72256 | +63335 | +$0.261 | +9803ms |
बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत |
|---|---|---|
| 2026-08-14 12:51 | $0.740 / 1M | $2.960 / 1M |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 7.0 | 8.0 | |
| कोडिंग | 6.4 | 7.9 | |
| संयुक्त | 7.3 | 5.8 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 4.4 | |
| Samanya Buddhimatta | 5.1 | 10.0 | |
| सूचनांचे पालन | 9.9 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |