AI BENCHY
Advertise here
#77

Grok 4.20

X AI प्रकाशन: 2026-03-31 चाचणी तारीख: 2026-05-22 00:32 x-ai/grok-4.20::medium
~1T एकूण (~100B सक्रिय)MoEबंद स्रोतअंदाजित
(medium) (none)

सारांश

Grok 4.20 AI BENCHY वर 6.7 स्कोर करते आणि #77 वर आहे. याची reliability 10.0, pass rate 61.7%, एकूण खर्च $0.832, आणि सरासरी response time 19.09s आहे.

Grok 4.20 खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #17.

ओळख नोंद

Grok 4.20 Beta हे Grok 4.20 ची प्रीव्ह्यू आवृत्ती होती.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~1T एकूण (~100B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

6.7

सुसंगतता

8.0

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.832

एकूण आउटपुट टोकन्स

158,105

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$1.250 / 1M

आउटपुट किंमत

$2.500 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 10

प्रति प्रयत्न पास दर: 61.7%

अस्थिर चाचण्या

5

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

19.09s

प्रतिसाद वेळ (कमाल): 105.80s

प्रतिसाद वेळ (एकूण): 381.86s

चुकीचे उत्तर: 6 सूचनांचे पालन केले नाही: 2 अतिरिक्त फॉरमॅटिंग: 1 उत्तर नाही: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#77 xAI: Grok 4.20

medium
खर्च
$0.041
वेळ
110.3s
टोकन्स
16,336 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:57 पुन्हा चाचणी 7.0 10.0 $0.805 ↓ तुलना करा
2026-07-16 23:07 नवीन चाचणी जोडली 7.1 10.0 $0.777 ↓ तुलना करा
2026-06-04 14:17 नवीन चाचणी जोडली 7.1 10.0 $0.609 ↓ तुलना करा
2026-05-22 00:32 सूट बदलला 6.7 10.0 $0.832 सध्याची रन
2026-05-08 15:32 सूट बदलला 6.9 10.0 $0.756 तुलना करा
2026-04-11 01:44 पहिली नोंदलेली रन 7.0 लागू नाही $0.743 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-05-22 00:32 · सूट बदलला60/60 प्रयत्न6.78.010.010/205158,1050$0.83219.09s
2026-06-04 14:17 · नवीन चाचणी जोडली63/63 प्रयत्न7.18.810.012/213221,34344,433$0.60927.68s
फरक—-0.4-0.80.0-2+2-63238-44433+$0.223-8586ms

बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

Grok 4.20mediumvsMercury 2mediumGrok 4.20mediumvsSeed-2.0-MinimediumGrok 4.20mediumvsGPT-5.5noneGrok 4.20mediumvsKimi K2.5mediumGrok 4.20mediumvsGLM 5.1mediumGrok 4.20mediumvsKAT-Coder-Pro V2.5mediumGrok 4.20mediumvsDeepSeek V3.2mediumGrok 4.20mediumvsQwen3.7 FlashmediumGrok 4.20mediumvsGPT-5.6 SolnoneGrok 4.20mediumvsSeed-2.0-Codehigh

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 8.2 7.9
कोडिंग 4.1 1.8
संयुक्त 10.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 5.3 10.0
Samanya Buddhimatta 3.9 2.6
सूचनांचे पालन 7.3 6.0
कोडी सोडवणे 7.7 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स