#55 Qwen3.5-27B
medium- खर्च
- $0.008
- वेळ
- 62.0s
- टोकन्स
- 3,099 tok
सारांश
Qwen3.5-27B AI BENCHY वर 7.4 स्कोर करते आणि #55 वर आहे. याची reliability 10.0, pass rate 72.7%, एकूण खर्च $0.981, आणि सरासरी response time 111.94s आहे.
Qwen3.5-27B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #3 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #17. हे असामान्यपणे जास्त reasoning tokens वापरते, ज्यामुळे runs हळू किंवा महाग होऊ शकतात.
संशोधन दिनांक: 2026-08-12
7.4
सुसंगतता
8.2
10.0
एकूण आउटपुट टोकन्स
614,429
एकूण इनपुट टोकन्स
111,635
इनपुट किंमत
$0.195 / 1M
आउटपुट किंमत
$1.560 / 1M
अस्थिर चाचण्या
5
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 01:58 पुन्हा चाचणी | 7.5 | 10.0 | $0.982 ↓ | तुलना करा | |
| 2026-07-16 22:51 नवीन चाचणी जोडली | 7.4 | 10.0 | $0.981 ↓ | सध्याची रन | |
| 2026-06-04 13:40 नवीन चाचणी जोडली | 7.8 | 10.0 | $0.536 ↓ | तुलना करा | |
| 2026-05-22 00:04 सूट बदलला | 7.9 | 10.0 | $0.607 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 8.4 | लागू नाही | $0.497 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-07-16 22:51 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.4 | 8.2 | 10.0 | 13/22 | 5 | 614,429 | 111,635 | $0.981 | 111.94s |
| 2026-06-04 13:40 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 7.8 | 8.5 | 10.0 | 13/21 | 4 | 337,823 | 42,164 | $0.536 | 68.39s |
| फरक | — | -0.3 | -0.3 | 0.0 | 0 | +1 | +276606 | +69471 | +$0.446 | +43547ms |
बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
किंमत इतिहास
OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.
| तारीख | इनपुट किंमत | आउटपुट किंमत |
|---|---|---|
| 2026-06-04 15:40 | $0.195 / 1M | $1.560 / 1M |
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.7 | 7.9 | |
| कोडिंग | 6.2 | 7.1 | |
| संयुक्त | 7.3 | 5.8 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 6.1 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.7 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |