#90 Mistral Small 4
none- खर्च
- $0.002
- वेळ
- 10.4s
- टोकन्स
- 2,370 tok
Mistral
प्रकाशन: 2026-03-16
चाचणी तारीख: 2026-04-11 01:44
mistralai/mistral-small-2603::none
119B एकूण (6B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Mistral Small 4 AI BENCHY वर 5.2 स्कोर करते आणि #90 वर आहे. याची reliability लागू नाही, pass rate 31.5%, एकूण खर्च $0.006, आणि सरासरी response time 665ms आहे.
Mistral Small 4 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #17. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 119B एकूण (6B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
5.2
सुसंगतता
9.5
लागू नाही
$0.006
एकूण आउटपुट टोकन्स
2,207
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.150 / 1M
आउटपुट किंमत
$0.600 / 1M
अस्थिर चाचण्या
1
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:04 पुन्हा चाचणी | 5.1 | 10.0 | $0.022 | तुलना करा | |
| 2026-07-16 22:21 नवीन चाचणी जोडली | 5.1 | 10.0 | $0.022 | तुलना करा | |
| 2026-06-04 13:41 नवीन चाचणी जोडली | 4.9 | 10.0 | $0.007 | तुलना करा | |
| 2026-05-22 00:14 सूट बदलला | 5.0 | 10.0 | $0.007 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 5.2 | लागू नाही | $0.006 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 5.2 | 9.5 | लागू नाही | 5/18 | 1 | 2,207 | 0 | $0.006 | 665ms |
| 2026-08-14 02:04 · पुन्हा चाचणी | 66/66 प्रयत्न | 5.1 | 9.6 | 10.0 | 5/22 | 1 | 9,812 | 104,717 | $0.022 | 1.20s |
| फरक | — | +0.1 | -0.1 | 0 | 0 | -7605 | -104717 | -$0.016 | -535ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mistral Small 4nonevsNemotron 3.5 Lightningmediumमोफत उपलब्धMistral Small 4nonevsMistral Small 4mediumMistral Small 4nonevsGranite 4.2 8BmediumMistral Small 4nonevsGranite 4.2 8BlowMistral Small 4nonevsInklingnoneMistral Small 4nonevsQwen3 Coder NextnoneMistral Small 4nonevsDots 3 Note Previewnoneमोफत उपलब्धMistral Small 4nonevsMercury 2.5lowMistral Small 4nonevsQwen3.6 35B A3BnoneMistral Small 4nonevsMiMo-V2.5none
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 3.4 | 7.9 | |
| कोडिंग | 4.5 | 9.0 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 4.0 | 10.0 | |
| सूचनांचे पालन | 6.5 | 10.0 | |
| कोडी सोडवणे | 3.1 | 9.9 | |
| टूल कॉलिंग | 10.0 | 10.0 |