#53 KAT-Coder-Pro V2.5
high- खर्च
- $0.009
- वेळ
- 26.4s
- टोकन्स
- 3,117 tok
सारांश
KAT-Coder-Pro V2.5 AI BENCHY वर 7.7 स्कोर करते आणि #53 वर आहे. याची reliability 10.0, pass rate 63.5%, एकूण खर्च $0.246, आणि सरासरी response time 12.30s आहे.
KAT-Coder-Pro V2.5 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #18.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.7
सुसंगतता
8.1
10.0
$0.246
एकूण आउटपुट टोकन्स
72,103
एकूण इनपुट टोकन्स
42,750
इनपुट किंमत
$0.740 / 1M
आउटपुट किंमत
$2.960 / 1M
अस्थिर चाचण्या
5
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:25 पुन्हा चाचणी | 7.2 | 10.0 | $0.506 | तुलना करा | |
| 2026-07-16 23:38 नवीन चाचणी जोडली | 7.2 | 10.0 | $0.482 | तुलना करा | |
| 2026-07-14 11:05 पहिला रन | 7.7 | 10.0 | $0.246 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-14 11:05 · पहिला रन | 63/63 प्रयत्न | 7.7 | 8.1 | 10.0 | 11/21 | 5 | 72,103 | 42,750 | $0.246 | 12.30s |
| 2026-07-16 23:38 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.2 | 7.8 | 10.0 | 11/22 | 6 | 136,164 | 106,076 | $0.482 | 20.83s |
| फरक | — | +0.4 | +0.3 | 0.0 | 0 | -1 | -64061 | -63326 | -$0.237 | -8530ms |
बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत |
|---|---|---|
| 2026-07-14 11:25 | $0.740 / 1M | $2.960 / 1M |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 7.0 | 8.0 | |
| कोडिंग | 6.4 | 7.9 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 4.4 | |
| Samanya Buddhimatta | 5.1 | 10.0 | |
| सूचनांचे पालन | 9.9 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.2 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |