नेव्हिगेशन
AI BENCHY
Advertise here

AI BENCHY Compare

Inception: Mercury 2 vs Mistral: Mistral Small 4

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-06-03

मेट्रिक Mercury 2 Mercury 2 none प्रकाशन: 2026-02-24 Mistral Small 4 Mistral Small 4 medium प्रकाशन: 2026-03-16
स्कोअर 4.6 5.4
क्रमांक #153 #129
विश्वसनीयता 10.0 10.0
सुसंगतता 9.1 7.1
बरोबर चाचण्या
प्रति प्रयत्न पास दर 25.0% 45.0%
अस्थिर चाचण्या 2 7
एकूण रन 60 60
प्रति निकाल खर्च 0.216 1.112
एकूण खर्च $0.009 $0.056
इनपुट किंमत $0.250 / 1M $0.150 / 1M
आउटपुट किंमत $0.750 / 1M $0.600 / 1M
एकूण इनपुट टोकन्स 25,515 39,834
आउटपुट टोकन्स 3,001 21,871
रिझनिंग टोकन्स 0 68,349
प्रतिसाद वेळ (सरासरी) 614ms 8.35s
प्रतिसाद वेळ (कमाल) 1.27s 59.15s
प्रतिसाद वेळ (एकूण) 12.28s 167.08s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 483ms 631 286 0
Mistral Small 4 5.6 3.8 66.7% 3 2.67s 708 4,055 4,778
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.5 9.4 0.0% 0 831ms 4,631 1,650 0
Mistral Small 4 5.1 6.8 33.3% 1 44.82s 4,894 9,322 38,386
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 606ms 4,821 131 0
Mistral Small 4 3.0 10.0 0.0% 0 25.25s 18,706 2,612 10,700
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 7.3 5.9 83.3% 1 667ms 6,362 180 0
Mistral Small 4 7.3 5.9 83.3% 1 1.23s 6,171 335 723
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 5.3 7.2 44.4% 1 534ms 784 46 0
Mistral Small 4 5.3 7.2 44.4% 1 6.11s 742 2,621 6,904
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 4.8 10.0 0.0% 0 628ms 495 159 0
Mistral Small 4 4.8 10.0 0.0% 0 2.05s 519 821 828
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 6.5 10.0 50.0% 0 551ms 691 82 0
Mistral Small 4 7.3 5.8 83.3% 1 1.38s 729 540 1,031
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.1 10.0 0.0% 0 535ms 694 251 0
Mistral Small 4 3.4 9.7 0.0% 0 2.17s 735 1,226 2,632
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 10.0 10.0 100.0% 0 1.27s 6,193 197 0
Mistral Small 4 10.0 10.0 100.0% 0 3.50s 6,420 321 810
सामान्य ज्ञान स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) इनपुट टोकन्स आउटपुट टोकन्स रिझनिंग टोकन्स
Mercury 2 3.0 10.0 0.0% 0 548ms 213 19 0
Mistral Small 4 3.0 10.0 0.0% 0 5.92s 210 18 1,557

झटपट तुलना

तुलना जोडी बदला