AI BENCHY
Advertise here
#85

Grok 4.20 Multi Agent Beta

X AI रिलीज़: 2026-03-12 परीक्षण किया गया: 2026-05-06 14:16 x-ai/grok-4.20-multi-agent-beta::medium

सारांश

Grok 4.20 Multi Agent Beta AI BENCHY पर 6.6 स्कोर करता है और #85 पर है। इसकी reliability लागू नहीं, pass rate 59.3%, कुल लागत $5.599, और औसत response time 9.69s है।

Grok 4.20 Multi Agent Beta को अलग क्या बनाता है: यह कोडिंग में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि टूल कॉलिंग इसकी सबसे कमजोर जगह है, जहाँ यह #9 पर है। यह असामान्य रूप से अधिक reasoning tokens इस्तेमाल करता है, जिससे धीमे या महंगे runs समझ में आ सकते हैं।

संग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।

संगति

7.9

विश्वसनीयता

लागू नहीं

कुल लागत (वर्तमान कीमत)

$5.599 ↑ +11.2%

परीक्षण के समय: $5.034

कुल आउटपुट टोकन

600,042

कुल इनपुट टोकन

721,952

इनपुट कीमत

$4.235 / 1M

आउटपुट कीमत

$4.235 / 1M

सही परीक्षण

गलत टेस्ट: 10

प्रति प्रयास पास दर: 59.3%

अस्थिर टेस्ट

5

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

9.69s

प्रतिक्रिया समय (अधिकतम): 35.28s

प्रतिक्रिया समय (कुल): 155.07s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#85 Grok 4.20 Multi Agent Beta

medium
Cost
$0.261
Time
123.4s
Tokens
199,344 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-05-06 14:16 दोबारा परीक्षण 6.6 लागू नहीं $5.599 वर्तमान रन
2026-05-06 14:16 दोबारा परीक्षण 6.6 लागू नहीं $5.074 तुलना करें
2026-05-06 14:16 सूट बदला गया 6.6 लागू नहीं $5.074 तुलना करें
2026-04-11 01:19 पहला दर्ज रन 6.4 लागू नहीं $5.074 तुलना करें

रन तुलना

रनस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-05-06 14:16 · वर्तमान रन6.67.9लागू नहीं8/185600,042721,952$5.5999.69s
2026-05-06 14:16 · सूट बदला गया6.67.4लागू नहीं8/186608,7040$5.0749.80s
अंतर-0.1+0.50-1-8662+721952+$0.526-105ms

कीमत का इतिहास

OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।

तारीख इनपुट कीमत आउटपुट कीमत
2026-06-04 15:40 $4.235 / 1M $4.235 / 1M

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 6.9 5.8
कोडिंग 10.0 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 2.9 7.2
Samanya Buddhimatta 5.8 2.8
निर्देश पालन 9.8 10.0
पहेली समाधान 6.7 7.9
टूल कॉलिंग 3.0 10.0

तुलना किए गए मॉडल