Baseten
प्रकाशन: 2026-10-24
चाचणी तारीख: 2026-10-24 15:07
baseten/mammoth-1::none
27Bघनमुक्त स्रोत सारांश
Mammoth 1 AI BENCHY वर 2.2 स्कोर करते आणि #442 वर आहे. याची reliability 8.9, pass rate 18.8%, एकूण खर्च $0.000, आणि सरासरी response time 1.80s आहे.
Mammoth 1 खास का आहे: हे कोडिंग मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर डेटा पार्सिंग आणि निष्कर्षण हा सर्वात कमकुवत भाग आहे, rank #13. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-10-24
- पॅरामीटर्स
- 27B
- आर्किटेक्चर
- घन
- उपलब्धता
- मुक्त स्रोत
- परवाना
- MIT
2.2
सुसंगतता
4.2
8.9
$0.000
एकूण आउटपुट टोकन्स
54
एकूण इनपुट टोकन्स
45,468
इनपुट किंमत
$0.000 / 1M
आउटपुट किंमत
$0.000 / 1M
कॅश वाचण्याची किंमत
लागू नाही
कॅश लिहिण्याची किंमत
लागू नाही
कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.
चुकीच्या चाचण्या: 9
प्रति प्रयत्न पास दर: 18.8%
बेंचमार्क कव्हरेज: 36/69 प्रयत्न. अडॅप्टर पर्याय देतात. 12/23 चाचण्या समर्थित आहेत. इतर चाचण्या असमर्थित आहेत, अयशस्वी नाहीत. गुण संपूर्ण चाचणी संचावर आधारित आहेत.
अस्थिर चाचण्या
3
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mammoth 1defaultमोफत उपलब्धvsJev 1.14defaultMammoth 1defaultमोफत उपलब्धvsClassify-1defaultMammoth 1defaultमोफत उपलब्धvsKev 4BdefaultMammoth 1defaultमोफत उपलब्धvsClef OmnidefaultMammoth 1defaultमोफत उपलब्धvsGPT-6 Luna DecisionsdefaultMammoth 1defaultमोफत उपलब्धvsDecider Flash V1.2defaultMammoth 1defaultमोफत उपलब्धvsDrex v1.5defaultMammoth 1defaultमोफत उपलब्धvsD1defaultMammoth 1defaultमोफत उपलब्धvsDecider V1.1 27BdefaultMammoth 1defaultमोफत उपलब्धvsGemini 3 Flash Previewhigh
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| स्वायत्त एजंट कार्ये | 0.0 | 0.0 | |
| अँटी-एआय युक्त्या | 4.0 | 7.5 | |
| कोडिंग | 4.9 | 6.7 | |
| संयुक्त | 0.0 | 0.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 3.7 | 1.7 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 0.0 | 0.0 | |
| सूचनांचे पालन | 1.5 | 5.0 | |
| कोडी सोडवणे | 1.6 | 1.0 | |
| टूल कॉलिंग | 0.0 | 0.0 | |
| सामान्य ज्ञान | 0.0 | 0.0 |