Bespoke Labs
प्रकाशन: 2026-10-16
चाचणी तारीख: 2026-10-16 00:55
bespokelabs/bespoke-nimble-9b-v3::none
9Bघनवेट्स उपलब्ध सारांश
Nimble v3 9B AI BENCHY वर 0.8 स्कोर करते आणि #430 वर आहे. याची reliability 10.0, pass rate 4.4%, एकूण खर्च ~$0.001, आणि सरासरी response time 363ms आहे.
Nimble v3 9B खास का आहे: या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-10-16
- पॅरामीटर्स
- 9B
- आर्किटेक्चर
- घन
- उपलब्धता
- वेट्स उपलब्ध
- परवाना
- CC-BY-NC-4.0
0.8
सुसंगतता
3.0
10.0
~$0.001
एकूण आउटपुट टोकन्स
0
एकूण इनपुट टोकन्स
103,770
बेंचमार्कचा अंदाजित वीज खर्च
~$0.001
चुकीच्या चाचण्या: 6
प्रति प्रयत्न पास दर: 4.4%
बेंचमार्क कव्हरेज: 21/69 प्रयत्न. अडॅप्टर पर्याय देतात. 7/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.
अस्थिर चाचण्या
0
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Nimble v3 9BdefaultvsTev1 4B ExperimentaldefaultNimble v3 9BdefaultvsSolar DecidedefaultNimble v3 9BdefaultvsMicrosoft-Decision-1defaultNimble v3 9BdefaultvsSolar Decide FlashdefaultNimble v3 9BdefaultvsGemini 3 Flash PreviewhighNimble v3 9BdefaultvsD1defaultNimble v3 9BdefaultvsClef OmnidefaultNimble v3 9BdefaultvsClassify-1defaultNimble v3 9BdefaultvsJev 1.14defaultNimble v3 9BdefaultvsKev 4Bdefault
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 0.0 | 0.0 | |
| अँटी-एआय युक्त्या | 2.5 | 2.5 | |
| कोडिंग | 0.0 | 0.0 | |
| संयुक्त | 0.0 | 0.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 3.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.0 | 6.7 | |
| Samanya Buddhimatta | 0.0 | 0.0 | |
| सूचनांचे पालन | 1.5 | 5.0 | |
| कोडी सोडवणे | 1.7 | 3.3 | |
| टूल कॉलिंग | 0.0 | 0.0 | |
| सामान्य ज्ञान | 0.0 | 0.0 |