- स्कोअर
- 8.6 (+0.64 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.061 · 94.7% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 7.51s · 93.5% वेगवान
Qwen
प्रकाशन: 2026-02-24
चाचणी तारीख: 2026-10-01 01:06
qwen/qwen3.5-27b::medium
27Bघनमुक्त स्रोत
(medium)
(none)
सारांश
Qwen3.5-27B AI BENCHY वर 7.9 स्कोर करते आणि #114 वर आहे. याची reliability 10.0, pass rate 76.8%, एकूण खर्च $1.135, आणि सरासरी response time 114.73s आहे.
Qwen3.5-27B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #4 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #13. हे असामान्यपणे जास्त reasoning tokens वापरते, ज्यामुळे runs हळू किंवा महाग होऊ शकतात.
शिफारस केलेले पर्याय
त्याऐवजी यापैकी एक मॉडेल निवडण्याची शिफारस करतो:
- स्कोअर
- 9.4 (+1.43 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.183 · 83.9% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 6.24s · 94.6% वेगवान
- स्कोअर
- 8.3 (+0.33 गुण)
- एकूण खर्च (सध्याची किंमत)
- $0.047 · 95.9% स्वस्त
- प्रतिसाद वेळ (सरासरी)
- 18.07s · 84.3% वेगवान
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 27B
- आर्किटेक्चर
- घन
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
7.9
सुसंगतता
7.9
10.0
$1.135
एकूण आउटपुट टोकन्स
635,288
एकूण इनपुट टोकन्स
288,919
इनपुट किंमत
$0.195 / 1M
आउटपुट किंमत
$1.560 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
अस्थिर चाचण्या
6
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#114 Qwen3.5-27B
medium- खर्च
- $0.008
- वेळ
- 62.0s
- टोकन्स
- 3,099 tok
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-10-01 01:06 पुन्हा चाचणी | 7.9 | 10.0 | $1.135 | सध्याची रन | |
| 2026-07-16 22:51 नवीन चाचणी जोडली | 7.4 | 10.0 | $0.981 ↓ | तुलना करा | |
| 2026-06-04 13:40 नवीन चाचणी जोडली | 7.8 | 10.0 | $0.536 ↓ | तुलना करा | |
| 2026-05-22 00:04 सूट बदलला | 7.9 | 10.0 | $0.607 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 8.4 | लागू नाही | $0.497 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 01:06 · सध्याची रन | 69/69 प्रयत्न | 7.9 | 7.9 | 10.0 | 14/23 | 6 | 635,288 | 288,919 | $1.135 | 114.73s |
| 2026-07-16 22:51 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 7.4 | 8.2 | 10.0 | 13/22 | 5 | 614,429 | 111,635 | $0.981 | 111.94s |
| फरक | — | +0.5 | -0.3 | 0.0 | +1 | +1 | +20859 | +177284 | +$0.155 | +2788ms |
बेंचमार्क कव्हरेज वेगळे आहे: 69/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Qwen3.5-27BmediumvsGPT-5.6 TerralowQwen3.5-27BmediumvsGLM 5.3 FlashXmaxQwen3.5-27BmediumvsQwen3.8 Flash NextlowQwen3.5-27BmediumvsClaude Fable 5.1highQwen3.5-27BmediumvsGemini 3.8 FlashmediumQwen3.5-27BmediumvsGPT-5.4 MinimediumQwen3.5-27BmediumvsGPT-5.4 NanomediumQwen3.5-27BmediumvsQwen3.7 MaxnoneQwen3.5-27BmediumvsNemotron 3 Ultramediumमोफत उपलब्धQwen3.5-27BmediumvsGemini 3.5 Flashmedium
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 10.0 | 10.0 | |
| अँटी-एआय युक्त्या | 8.7 | 7.9 | |
| कोडिंग | 6.2 | 7.1 | |
| संयुक्त | 7.3 | 5.8 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.9 | 7.2 | |
| Samanya Buddhimatta | 6.1 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.7 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |