#79 Mistral Small 4
medium- खर्च
- $0.006
- वेळ
- 47.9s
- टोकन्स
- 9,857 tok
Mistral
प्रकाशन: 2026-03-16
चाचणी तारीख: 2026-04-11 01:44
mistralai/mistral-small-2603::medium
119B एकूण (6B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Mistral Small 4 AI BENCHY वर 5.7 स्कोर करते आणि #79 वर आहे. याची reliability लागू नाही, pass rate 50.0%, एकूण खर्च $0.034, आणि सरासरी response time 5.64s आहे.
Mistral Small 4 खास का आहे: या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 119B एकूण (6B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
5.7
सुसंगतता
6.8
लागू नाही
$0.034
एकूण आउटपुट टोकन्स
54,492
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.150 / 1M
आउटपुट किंमत
$0.600 / 1M
अस्थिर चाचण्या
7
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:05 पुन्हा चाचणी | 5.1 | 10.0 | $0.097 | तुलना करा | |
| 2026-07-16 22:23 नवीन चाचणी जोडली | 5.1 | 10.0 | $0.096 | तुलना करा | |
| 2026-06-04 13:43 नवीन चाचणी जोडली | 5.3 | 10.0 | $0.068 | तुलना करा | |
| 2026-05-22 00:16 सूट बदलला | 5.4 | 10.0 | $0.056 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 5.7 | लागू नाही | $0.034 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 5.7 | 6.8 | लागू नाही | 5/18 | 7 | 54,492 | 0 | $0.034 | 5.64s |
| 2026-05-22 00:16 · सूट बदलला | 60/60 प्रयत्न | 5.4 | 7.1 | 10.0 | 5/20 | 7 | 89,683 | 0 | $0.056 | 8.33s |
| फरक | — | +0.3 | -0.3 | 0 | 0 | -35191 | 0 | -$0.022 | -2689ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mistral Small 4mediumvsMistral Small 4noneMistral Small 4mediumvsGranite 4.2 8BlowMistral Small 4mediumvsNemotron 3.5 Lightningmediumमोफत उपलब्धMistral Small 4mediumvsQwen3 Coder NextnoneMistral Small 4mediumvsGranite 4.2 8BmediumMistral Small 4mediumvsMercury 2.5lowMistral Small 4mediumvsInklingnoneMistral Small 4mediumvsMiMo-V2.5noneMistral Small 4mediumvsDots 3 Note Previewnoneमोफत उपलब्धMistral Small 4mediumvsQwen3.5-9Bnone
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 5.6 | 3.8 | |
| कोडिंग | 6.7 | 3.5 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| सूचनांचे पालन | 7.3 | 5.8 | |
| कोडी सोडवणे | 3.4 | 9.7 | |
| टूल कॉलिंग | 10.0 | 10.0 |