AI BENCHY
Advertise here
#138

MiMo-V2.5

Xiaomi रिलीज़: 2026-04-22 परीक्षण किया गया: 2026-05-08 15:33 xiaomi/mimo-v2.5::none
310B कुल (15B सक्रिय)MoEमुक्त स्रोत
(medium) (none)

सारांश

MiMo-V2.5 AI BENCHY पर 4.9 स्कोर करता है और #138 पर है। इसकी reliability 10.0, pass rate 28.1%, कुल लागत $0.019, और औसत response time 2.02s है।

MiMo-V2.5 को अलग क्या बनाता है: यह कोडिंग में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि एंटी-एआई ट्रिक्स इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है। यह समान मॉडलों की तुलना में काफ़ी तेज है।

मॉडल विवरण

शोध की तारीख: 2026-08-12

घोषित
पैरामीटर
310B कुल (15B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
मुक्त स्रोत
लाइसेंस
MIT

संगति

9.2

कुल आउटपुट टोकन

2,231

कुल इनपुट टोकन

0

इनपुट कीमत

$0.400 / 1M

आउटपुट कीमत

$2.000 / 1M

सही परीक्षण

गलत टेस्ट: 15

प्रति प्रयास पास दर: 28.1%

अस्थिर टेस्ट

2

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

2.02s

प्रतिक्रिया समय (अधिकतम): 6.86s

प्रतिक्रिया समय (कुल): 38.45s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#138 MiMo-V2.5

none
लागत
$0.007
समय
267.4s
टोकन
25,283 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 02:25 दोबारा परीक्षण 5.1 10.0 $0.025 तुलना करें
2026-07-16 22:42 नया टेस्ट जोड़ा गया 5.1 10.0 $0.025 तुलना करें
2026-06-04 13:48 नया टेस्ट जोड़ा गया 4.9 10.0 $0.007 तुलना करें
2026-05-22 12:51 नया टेस्ट जोड़ा गया 4.8 10.0 $0.021 तुलना करें
2026-05-08 15:33 सूट बदला गया 4.9 10.0 $0.019 वर्तमान रन
2026-04-22 21:39 पहला दर्ज रन 5.1 लागू नहीं $0.019 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

रन तुलना

रनबेंचमार्क कवरेजस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-05-08 15:33 · सूट बदला गया57/57 प्रयास4.99.210.04/1922,2310$0.0192.02s
2026-05-22 12:51 · नया टेस्ट जोड़ा गया60/60 प्रयास4.89.310.04/2022,2580$0.0212.20s
अंतर+0.1-0.10.000-270-$0.002-175ms

बेंचमार्क कवरेज अलग है: 57/57 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।

इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 3.5 8.0
कोडिंग 10.0 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग और निष्कर्षण 6.5 10.0
डोमेन-विशिष्ट 3.0 10.0
Samanya Buddhimatta 4.4 9.9
निर्देश पालन 6.5 10.0
पहेली समाधान 4.2 7.7
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल