Bespoke Labs
रिलीज़: 2026-10-16
परीक्षण किया गया: 2026-10-16 00:55
bespokelabs/bespoke-nimble-9b-v3::none
9Bसघनवेट उपलब्ध सारांश
Nimble v3 9B AI BENCHY पर 0.8 स्कोर करता है और #430 पर है। इसकी reliability 10.0, pass rate 4.4%, कुल लागत ~$0.001, और औसत response time 363ms है।
Nimble v3 9B को अलग क्या बनाता है: इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।
मॉडल विवरण
शोध की तारीख: 2026-10-16
- पैरामीटर
- 9B
- आर्किटेक्चर
- सघन
- उपलब्धता
- वेट उपलब्ध
- लाइसेंस
- CC-BY-NC-4.0
0.8
संगति
3.0
10.0
~$0.001
कुल आउटपुट टोकन
0
कुल इनपुट टोकन
103,770
बेंचमार्क की अनुमानित बिजली लागत
~$0.001
गलत टेस्ट: 6
प्रति प्रयास पास दर: 4.4%
बेंचमार्क कवरेज: 21/69 प्रयास. विकल्प अडैप्टर देते हैं। 7/23 परीक्षण समर्थित हैं। अन्य परीक्षण असमर्थित हैं, विफल नहीं। स्कोर पूरे परीक्षण समूह पर आधारित है।
अस्थिर टेस्ट
0
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
चार्ट
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
स्कोर vs कुल लागत
प्रतिक्रिया समय (औसत)
स्कोर vs प्रतिक्रिया समय (औसत)
कुल आउटपुट टोकन
स्कोर vs कुल आउटपुट टोकन
त्वरित तुलना
Nimble v3 9BdefaultvsTev1 4B ExperimentaldefaultNimble v3 9BdefaultvsSolar DecidedefaultNimble v3 9BdefaultvsMicrosoft-Decision-1defaultNimble v3 9BdefaultvsSolar Decide FlashdefaultNimble v3 9BdefaultvsGemini 3 Flash PreviewhighNimble v3 9BdefaultvsD1defaultNimble v3 9BdefaultvsClef OmnidefaultNimble v3 9BdefaultvsClassify-1defaultNimble v3 9BdefaultvsJev 1.14defaultNimble v3 9BdefaultvsKev 4Bdefault
श्रेणी विवरण
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| स्वायत्त एजेंट कार्य | 0.0 | 0.0 | |
| एंटी-एआई ट्रिक्स | 2.5 | 2.5 | |
| कोडिंग | 0.0 | 0.0 | |
| संयुक्त | 0.0 | 0.0 | |
| डेटा पार्सिंग और निष्कर्षण | 3.0 | 10.0 | |
| डोमेन-विशिष्ट | 2.0 | 6.7 | |
| Samanya Buddhimatta | 0.0 | 0.0 | |
| निर्देश पालन | 1.5 | 5.0 | |
| पहेली समाधान | 1.7 | 3.3 | |
| टूल कॉलिंग | 0.0 | 0.0 | |
| सामान्य ज्ञान | 0.0 | 0.0 |