नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

IBM: Granite 4.1 8B vs Mistral: Mistral Small 4

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-05-01

मेट्रिक Granite 4.1 8B Granite 4.1 8B none प्रकाशन: 2026-05-01 Mistral Small 4 Mistral Small 4 medium प्रकाशन: 2026-03-16
स्कोअर 4.3 5.7
क्रमांक #135 #99
विश्वसनीयता 10.0 लागू नाही
सुसंगतता 10.0 6.8
बरोबर चाचण्या
प्रति प्रयत्न पास दर 11.1% 50.0%
अस्थिर चाचण्या 0 7
एकूण रन 54 54
प्रति निकाल खर्च 0.110 0.674
एकूण खर्च $0.003 $0.034
???? ??? $0.050 / 1M $0.150 / 1M
????? ??? $0.100 / 1M $0.600 / 1M
आउटपुट टोकन्स 2,712 15,084
रिझनिंग टोकन्स 0 39,408
प्रतिसाद वेळ (सरासरी) 767ms 5.64s
प्रतिसाद वेळ (कमाल) 2.17s 30.49s
प्रतिसाद वेळ (एकूण) 13.81s 101.52s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.9 10.0 25.0% 0 844ms 903 0
Mistral Small 4 5.6 3.8 66.7% 3 2.67s 4,055 4,778
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 6.9 10.0 0.0% 0 1.07s 339 0
Mistral Small 4 6.7 3.5 66.7% 1 30.49s 2,796 11,296
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 1.88s 396 0
Mistral Small 4 3.0 10.0 0.0% 0 25.25s 2,612 10,700
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 575ms 195 0
Mistral Small 4 7.3 5.9 83.3% 1 1.23s 335 723
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 357ms 24 0
Mistral Small 4 5.3 7.2 44.4% 1 6.11s 2,621 6,904
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.0 10.0 0.0% 0 499ms 115 0
Mistral Small 4 4.8 10.0 0.0% 0 2.05s 821 828
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.6 9.9 0.0% 0 344ms 66 0
Mistral Small 4 7.3 5.8 83.3% 1 1.38s 540 1,031
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.7 10.0 0.0% 0 635ms 431 0
Mistral Small 4 3.4 9.7 0.0% 0 2.00s 983 2,338
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 10.0 10.0 100.0% 0 2.17s 243 0
Mistral Small 4 10.0 10.0 100.0% 0 3.50s 321 810

झटपट तुलना

तुलना जोडी बदला