#48 Qwen3.5-35B-A3B
medium- खर्च
- $0.009
- वेळ
- 71.4s
- टोकन्स
- 8,631 tok
सारांश
Qwen3.5-35B-A3B AI BENCHY वर 7.4 स्कोर करते आणि #48 वर आहे. याची reliability लागू नाही, pass rate 79.6%, एकूण खर्च $0.398, आणि सरासरी response time 44.51s आहे.
Qwen3.5-35B-A3B खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर संयुक्त हा सर्वात कमकुवत भाग आहे, rank #18.
संशोधन दिनांक: 2026-08-12
7.4
सुसंगतता
6.7
लागू नाही
$0.398
एकूण आउटपुट टोकन्स
218,898
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.163 / 1M
आउटपुट किंमत
$1.300 / 1M
अस्थिर चाचण्या
7
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 01:57 पुन्हा चाचणी | 6.1 | 10.0 | $1.623 ↑ | तुलना करा | |
| 2026-07-16 22:51 नवीन चाचणी जोडली | 6.2 | 10.0 | $0.837 ↓ | तुलना करा | |
| 2026-06-04 13:42 नवीन चाचणी जोडली | 7.1 | 8.9 | $0.401 ↓ | तुलना करा | |
| 2026-05-22 00:15 सूट बदलला | 7.0 | 6.7 | $0.547 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 7.4 | लागू नाही | $0.398 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 7.4 | 6.7 | लागू नाही | 10/18 | 7 | 218,898 | 0 | $0.398 | 44.51s |
| 2026-07-16 22:51 · नवीन चाचणी जोडली | 66/66 प्रयत्न | 6.2 | 7.6 | 10.0 | 11/22 | 6 | 826,670 | 130,388 | $0.837 | 112.47s |
| फरक | — | +1.3 | -0.9 | -1 | +1 | -607772 | -130388 | -$0.440 | -67956ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 4.7 | 1.6 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 4.1 | 4.4 | |
| Samanya Buddhimatta | 2.8 | 1.6 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 6.4 | 4.4 | |
| टूल कॉलिंग | 10.0 | 10.0 |