#11 Qwen3.5-27B
medium- खर्च
- $0.008
- वेळ
- 62.0s
- टोकन्स
- 3,099 tok
Qwen
प्रकाशन: 2026-02-24
चाचणी तारीख: 2026-04-11 01:44
qwen/qwen3.5-27b::medium
27Bघनमुक्त स्रोत
(medium)
(none)
सारांश
Qwen3.5-27B AI BENCHY वर 8.4 स्कोर करते आणि #11 वर आहे. याची reliability लागू नाही, pass rate 81.5%, एकूण खर्च $0.497, आणि सरासरी response time 53.03s आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 27B
- आर्किटेक्चर
- घन
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
8.4
सुसंगतता
8.8
लागू नाही
$0.497
एकूण आउटपुट टोकन्स
245,000
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.195 / 1M
आउटपुट किंमत
$1.560 / 1M
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 01:58 पुन्हा चाचणी | 7.5 | 10.0 | $0.982 ↓ | तुलना करा | |
| 2026-07-16 22:51 नवीन चाचणी जोडली | 7.4 | 10.0 | $0.981 ↓ | तुलना करा | |
| 2026-06-04 13:40 नवीन चाचणी जोडली | 7.8 | 10.0 | $0.536 ↓ | तुलना करा | |
| 2026-05-22 00:04 सूट बदलला | 7.9 | 10.0 | $0.607 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 8.4 | लागू नाही | $0.497 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 8.4 | 8.8 | लागू नाही | 13/18 | 3 | 245,000 | 0 | $0.497 | 53.03s |
| 2026-08-14 01:58 · पुन्हा चाचणी | 66/66 प्रयत्न | 7.5 | 7.8 | 10.0 | 13/22 | 6 | 614,909 | 111,644 | $0.982 | 113.28s |
| फरक | — | +1.0 | +1.0 | 0 | -3 | -369909 | -111644 | -$0.485 | -60259ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Qwen3.5-27BmediumvsQwen3.5 Plus 2026-02-15mediumQwen3.5-27BmediumvsGPT-5.4 MinimediumQwen3.5-27BmediumvsGPT 5.3 ChatnoneQwen3.5-27BmediumvsGrok Build 0.1mediumQwen3.5-27BmediumvsMiniMax M3mediumQwen3.5-27BmediumvsGemini 3.1 Flash Lite PreviewmediumQwen3.5-27BmediumvsGPT-5.6 TerralowQwen3.5-27BmediumvsQwen3.7 MaxnoneQwen3.5-27BmediumvsGPT-5.4 NanomediumQwen3.5-27BmediumvsKimi K2.7 Codemedium
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.7 | 7.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 6.1 | 3.1 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 8.2 | 7.7 | |
| टूल कॉलिंग | 10.0 | 10.0 |