नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

Inception: Mercury 2 vs Mistral: Mistral Small 4

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-04-11

मेट्रिक Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24 Mistral Small 4 Mistral Small 4 medium प्रकाशन: 2026-03-16
स्कोअर 4.8 5.7
क्रमांक #85 #69
सुसंगतता 9.0 6.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 27.8% 50.0%
अस्थिर चाचण्या 2 7
एकूण रन 54 54
प्रति निकाल खर्च 0.165 0.674
एकूण खर्च $0.007 $0.034
???? ??? $0.250 / 1M $0.150 / 1M
????? ??? $0.750 / 1M $0.600 / 1M
आउटपुट टोकन्स 1,625 15,084
रिझनिंग टोकन्स 0 39,408
प्रतिसाद वेळ (सरासरी) 613ms 5.64s
प्रतिसाद वेळ (कमाल) 1.27s 30.49s
प्रतिसाद वेळ (एकूण) 11.04s 101.52s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 483ms 286 0
Mistral Small 4 5.6 3.8 66.7% 3 2.67s 4,055 4,778
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.6 8.9 0.0% 0 969ms 310 0
Mistral Small 4 6.7 3.5 66.7% 1 30.49s 2,796 11,296
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 606ms 131 0
Mistral Small 4 3.0 10.0 0.0% 0 25.25s 2,612 10,700
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 667ms 180 0
Mistral Small 4 7.3 5.9 83.3% 1 1.23s 335 723
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.3 7.2 44.4% 1 534ms 46 0
Mistral Small 4 5.3 7.2 44.4% 1 6.11s 2,621 6,904
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 628ms 159 0
Mistral Small 4 4.8 10.0 0.0% 0 2.05s 821 828
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.5 10.0 50.0% 0 551ms 82 0
Mistral Small 4 7.3 5.8 83.3% 1 1.38s 540 1,031
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.1 10.0 0.0% 0 533ms 234 0
Mistral Small 4 3.4 9.7 0.0% 0 2.00s 983 2,338
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.27s 197 0
Mistral Small 4 10.0 10.0 100.0% 0 3.50s 321 810

झटपट तुलना

तुलना जोडी बदला