#121 Mistral Small 4
medium- खर्च
- $0.006
- वेळ
- 47.9s
- टोकन्स
- 9,857 tok
Mistral
प्रकाशन: 2026-03-16
चाचणी तारीख: 2026-05-22 00:16
mistralai/mistral-small-2603::medium
119B एकूण (6B सक्रिय)MoEमुक्त स्रोत
(medium)
(none)
सारांश
Mistral Small 4 AI BENCHY वर 5.4 स्कोर करते आणि #121 वर आहे. याची reliability 10.0, pass rate 45.0%, एकूण खर्च $0.056, आणि सरासरी response time 8.33s आहे.
Mistral Small 4 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #4 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.
मॉडेलची माहिती
संशोधन दिनांक: 2026-08-12
- पॅरामीटर्स
- 119B एकूण (6B सक्रिय)
- आर्किटेक्चर
- MoE
- उपलब्धता
- मुक्त स्रोत
- परवाना
- Apache-2.0
5.4
सुसंगतता
7.1
10.0
$0.056
एकूण आउटपुट टोकन्स
89,683
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.150 / 1M
आउटपुट किंमत
$0.600 / 1M
अस्थिर चाचण्या
7
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:05 पुन्हा चाचणी | 5.1 | 10.0 | $0.097 | तुलना करा | |
| 2026-07-16 22:23 नवीन चाचणी जोडली | 5.1 | 10.0 | $0.096 | तुलना करा | |
| 2026-06-04 13:43 नवीन चाचणी जोडली | 5.3 | 10.0 | $0.068 | तुलना करा | |
| 2026-05-22 00:16 सूट बदलला | 5.4 | 10.0 | $0.056 | सध्याची रन | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 5.7 | लागू नाही | $0.034 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:16 · सूट बदलला | 60/60 प्रयत्न | 5.4 | 7.1 | 10.0 | 5/20 | 7 | 89,683 | 0 | $0.056 | 8.33s |
| 2026-06-04 13:43 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 5.3 | 6.9 | 10.0 | 5/21 | 8 | 108,862 | 42,576 | $0.068 | 9.40s |
| फरक | — | +0.1 | +0.2 | 0.0 | 0 | -1 | -19179 | -42576 | -$0.012 | -1070ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
चार्ट्स
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
स्कोअरनुसार शीर्ष मॉडेल्स
स्कोअर vs एकूण खर्च
प्रतिसाद वेळ (सरासरी)
स्कोअर vs प्रतिसाद वेळ (सरासरी)
एकूण आउटपुट टोकन्स
स्कोअर vs एकूण आउटपुट टोकन्स
झटपट तुलना
Mistral Small 4mediumvsMistral Small 4noneMistral Small 4mediumvsGranite 4.2 8BlowMistral Small 4mediumvsNemotron 3.5 Lightningmediumमोफत उपलब्धMistral Small 4mediumvsQwen3 Coder NextnoneMistral Small 4mediumvsGranite 4.2 8BmediumMistral Small 4mediumvsMercury 2.5lowMistral Small 4mediumvsInklingnoneMistral Small 4mediumvsMiMo-V2.5noneMistral Small 4mediumvsDots 3 Note Previewnoneमोफत उपलब्धMistral Small 4mediumvsQwen3.5-9Bnone
श्रेणीवार तपशील
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 5.6 | 3.8 | |
| कोडिंग | 5.1 | 6.8 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 7.3 | 5.9 | |
| डोमेन-विशिष्ट | 5.3 | 7.2 | |
| Samanya Buddhimatta | 4.8 | 10.0 | |
| सूचनांचे पालन | 7.3 | 5.8 | |
| कोडी सोडवणे | 3.4 | 9.7 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |