#124 KAT-Coder-Air V2.5
low- खर्च
- $0.004
- वेळ
- 29.9s
- टोकन्स
- 6,008 tok
सारांश
KAT Coder AIR V2.5 AI BENCHY वर 6.0 स्कोर करते आणि #124 वर आहे. याची reliability 9.7, pass rate 46.0%, एकूण खर्च $0.030, आणि सरासरी response time 6.47s आहे.
KAT Coder AIR V2.5 खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #4 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
6.0
सुसंगतता
7.6
9.7
$0.030
एकूण आउटपुट टोकन्स
39,091
एकूण इनपुट टोकन्स
42,464
इनपुट किंमत
$0.150 / 1M
आउटपुट किंमत
$0.600 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
6
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 03:16 पुन्हा चाचणी | 5.4 | 9.9 | $0.046 | तुलना करा | |
| 2026-07-16 23:32 नवीन चाचणी जोडली | 5.4 | 9.9 | $0.041 | तुलना करा | |
| 2026-07-14 11:05 पहिला रन | 6.0 | 9.7 | $0.030 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-14 11:05 · पहिला रन | 63/63 प्रयत्न | 6.0 | 7.6 | 9.7 | 7/21 | 6 | 39,091 | 42,464 | $0.030 | 6.47s |
| 2026-07-16 23:32 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 5.4 | 7.4 | 9.9 | 7/22 | 7 | 52,895 | 61,085 | $0.041 | 10.09s |
| फरक | — | +0.6 | +0.2 | -0.2 | 0 | -1 | -13804 | -18621 | -$0.012 | -3626ms |
बेंचमार्क कव्हरेज वेगळे आहे: 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत | कॅश वाचण्याची किंमत | कॅश लिहिण्याची किंमत |
|---|---|---|---|---|
| 2026-07-14 11:25 | $0.150 / 1M | $0.600 / 1M | लागू नाही | लागू नाही |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 7.3 | 5.8 | |
| कोडिंग | 3.5 | 7.3 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 6.5 | 10.0 | |
| डोमेन-विशिष्ट | 2.9 | 7.2 | |
| Samanya Buddhimatta | 5.0 | 10.0 | |
| सूचनांचे पालन | 9.8 | 10.0 | |
| कोडी सोडवणे | 3.1 | 4.6 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |