नेव्हिगेशन
AI BENCHY
Your ad here

AI BENCHY Compare

IBM: Granite 4.1 8B vs OpenAI: GPT-5.4 Nano

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-05-01

मेट्रिक Granite 4.1 8B Granite 4.1 8B none प्रकाशन: 2026-05-01 GPT-5.4 Nano GPT-5.4 Nano none प्रकाशन: 2026-03-17
स्कोअर 4.3 4.6
क्रमांक #135 #127
विश्वसनीयता 10.0 लागू नाही
सुसंगतता 10.0 7.4
बरोबर चाचण्या
प्रति प्रयत्न पास दर 11.1% 33.3%
अस्थिर चाचण्या 0 6
एकूण रन 54 54
प्रति निकाल खर्च 0.110 0.299
एकूण खर्च $0.003 $0.009
???? ??? $0.050 / 1M $0.200 / 1M
????? ??? $0.100 / 1M $1.250 / 1M
आउटपुट टोकन्स 2,712 2,762
रिझनिंग टोकन्स 0 0
प्रतिसाद वेळ (सरासरी) 767ms 1.40s
प्रतिसाद वेळ (कमाल) 2.17s 3.84s
प्रतिसाद वेळ (एकूण) 13.81s 25.14s

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

अँटी-एआय युक्त्या स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.9 10.0 25.0% 0 844ms 903 0
GPT-5.4 Nano 3.5 8.0 16.7% 1 1.18s 800 0
कोडिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 6.9 10.0 0.0% 0 1.07s 339 0
GPT-5.4 Nano 7.1 3.7 66.7% 1 1.43s 577 0
संयुक्त स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 1.88s 396 0
GPT-5.4 Nano 3.0 10.0 0.0% 0 3.84s 280 0
डेटा पार्सिंग आणि निष्कर्षण स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 575ms 195 0
GPT-5.4 Nano 6.5 10.0 50.0% 0 1.11s 219 0
डोमेन-विशिष्ट स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.0 10.0 0.0% 0 357ms 24 0
GPT-5.4 Nano 2.9 4.4 22.2% 2 926ms 52 0
Samanya Buddhimatta स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 4.0 10.0 0.0% 0 499ms 115 0
GPT-5.4 Nano 3.8 2.5 33.3% 1 1.31s 180 0
सूचनांचे पालन स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.6 9.9 0.0% 0 344ms 66 0
GPT-5.4 Nano 6.3 10.0 50.0% 0 787ms 84 0
कोडी सोडवणे स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 3.7 10.0 0.0% 0 635ms 431 0
GPT-5.4 Nano 3.7 7.3 22.2% 1 1.29s 348 0
टूल कॉलिंग स्कोअर सुसंगतता प्रति प्रयत्न पास दर अस्थिर चाचण्या बरोबर चाचण्या प्रतिसाद वेळ (सरासरी) आउटपुट टोकन्स रिझनिंग टोकन्स
Granite 4.1 8B 10.0 10.0 100.0% 0 2.17s 243 0
GPT-5.4 Nano 10.0 10.0 100.0% 0 3.40s 222 0

झटपट तुलना

तुलना जोडी बदला