AI BENCHY
Advertise here
#81

Grok 4.20 Multi Agent Beta

X AI रिलीज़: 2026-03-12 परीक्षण किया गया: 2026-05-06 14:16 x-ai/grok-4.20-multi-agent-beta::medium

सारांश

Grok 4.20 Multi Agent Beta AI BENCHY पर 6.6 स्कोर करता है और #81 पर है। इसकी reliability लागू नहीं, pass rate 63.0%, कुल लागत $5.074, और औसत response time 9.80s है।

Grok 4.20 Multi Agent Beta को अलग क्या बनाता है: यह कोडिंग में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि टूल कॉलिंग इसकी सबसे कमजोर जगह है, जहाँ यह #11 पर है। यह असामान्य रूप से अधिक reasoning tokens इस्तेमाल करता है, जिससे धीमे या महंगे runs समझ में आ सकते हैं।

संग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।

संगति

7.4

विश्वसनीयता

लागू नहीं

कुल आउटपुट टोकन

608,704

कुल इनपुट टोकन

0

इनपुट कीमत

$0.000 / 1M

आउटपुट कीमत

$0.000 / 1M

सही परीक्षण

गलत टेस्ट: 10

प्रति प्रयास पास दर: 63.0%

अस्थिर टेस्ट

6

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

9.80s

प्रतिक्रिया समय (अधिकतम): 35.28s

प्रतिक्रिया समय (कुल): 156.75s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#81 Grok 4.20 Multi Agent Beta

medium
Cost
$0.261
Time
123.4s
Tokens
199,344 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-05-06 14:16 दोबारा परीक्षण 6.6 लागू नहीं $5.599 तुलना करें
2026-05-06 14:16 दोबारा परीक्षण 6.6 लागू नहीं $5.074 वर्तमान रन
2026-05-06 14:16 सूट बदला गया 6.6 लागू नहीं $5.074 तुलना करें
2026-04-11 01:19 पहला दर्ज रन 6.4 लागू नहीं $5.074 तुलना करें

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 6.9 5.8
कोडिंग 10.0 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 5.8 2.8
निर्देश पालन 9.8 10.0
पहेली समाधान 7.2 5.1
टूल कॉलिंग 3.0 10.0

तुलना किए गए मॉडल