Gemini 3.5 Flash vs Grok 4.20 Beta benchmark तुलना: Gemini 3.5 Flash average score में आगे है: 9.6 vs 5.8. Grok 4.20 Beta की benchmark लागत कम है: $0.087 vs $1.115. Grok 4.20 Beta तेज है: 1.19s vs 8.84s, pass rates 96.8% vs 37.0%.
अनुशंसित मॉडल: Gemini 3.5 Flash - It has the strongest score in this comparison (9.6) and the best overall balance of cost and response time across all 2 models.
बेंचमार्क AI BENCHY टेस्ट सूट्स से इस समय जनरेट किए गए:: 2026-06-10
Grok 4.20 BetaGrok 4.20 Betanoneसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।रिलीज़: 2026-03-12
स्कोर
9.6सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
5.8सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
रैंक
#2
#107
विश्वसनीयता
10.0पहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
लागू नहींपहले प्रयास की सफलता स्कोर: 10.0 का मतलब है सफल कॉल से पहले लक्ष्य API या रेट-लिमिट की कोई पुनः प्रयास योग्य विफलता नहीं; दर्ज विफलताएँ स्कोर घटाती हैं।…
संगति
9.6संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
9.6संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
सही परीक्षण
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)8.84sप्रतिक्रिया समय (अधिकतम)34.82sप्रतिक्रिया समय (कुल)185.57sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 10निर्देशों का पालन नहीं किया: 1अमान्य टूल कॉल: 1प्रतिक्रिया समय (औसत)1.19sप्रतिक्रिया समय (अधिकतम)6.48sप्रतिक्रिया समय (कुल)21.43sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
प्रति प्रयास पास दर
96.8%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
37.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
अस्थिर टेस्ट
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कुल रन
63कुल रन…
52कुल रन…
प्रति परिणाम लागत
5.575यह बेंचमार्क के प्रति सही उत्तर की औसत लागत सेंट में दिखाता है (कम होना बेहतर है)।…
1.510यह बेंचमार्क के प्रति सही उत्तर की औसत लागत सेंट में दिखाता है (कम होना बेहतर है)।…
कुल लागत
$1.115कुल लागत (वर्तमान कीमत)…
$0.087कुल लागत (वर्तमान कीमत)…
इनपुट कीमत
$1.500 / 1Mइनपुट कीमत…
$2.041 / 1Mइनपुट कीमत…
आउटपुट कीमत
$9.000 / 1Mआउटपुट कीमत…
$2.041 / 1Mआउटपुट कीमत…
कुल इनपुट टोकन
37,594कुल इनपुट टोकन…
40,597कुल इनपुट टोकन…
आउटपुट टोकन
1,975आउटपुट टोकन…
1,657आउटपुट टोकन…
रीजनिंग टोकन
115,638रीजनिंग टोकन…
0रीजनिंग टोकन…
प्रतिक्रिया समय (औसत)
8.84sप्रतिक्रिया समय (औसत)…
1.19sप्रतिक्रिया समय (औसत)…
प्रतिक्रिया समय (अधिकतम)
34.82sप्रतिक्रिया समय (अधिकतम)…
6.48sप्रतिक्रिया समय (अधिकतम)…
प्रतिक्रिया समय (कुल)
185.57sप्रतिक्रिया समय (कुल)…
21.43sप्रतिक्रिया समय (कुल)…
Generation showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)2.57sप्रतिक्रिया समय (अधिकतम)3.60sप्रतिक्रिया समय (कुल)10.27sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
2.57sप्रतिक्रिया समय (औसत)…
492कुल इनपुट टोकन…
174आउटपुट टोकन…
4,997रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
4.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
8.4संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
16.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 4प्रतिक्रिया समय (औसत)597msप्रतिक्रिया समय (अधिकतम)866msप्रतिक्रिया समय (कुल)2.39sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)22.96sप्रतिक्रिया समय (अधिकतम)34.82sप्रतिक्रिया समय (कुल)68.88sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
22.96sप्रतिक्रिया समय (औसत)…
8,118कुल इनपुट टोकन…
456आउटपुट टोकन…
47,129रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
5.5सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)1.14sप्रतिक्रिया समय (अधिकतम)1.14sप्रतिक्रिया समय (कुल)1.14sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)22.37sप्रतिक्रिया समय (अधिकतम)22.37sप्रतिक्रिया समय (कुल)22.37sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
22.37sप्रतिक्रिया समय (औसत)…
12,873कुल इनपुट टोकन…
351आउटपुट टोकन…
16,323रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।अमान्य टूल कॉल: 1प्रतिक्रिया समय (औसत)6.48sप्रतिक्रिया समय (अधिकतम)6.48sप्रतिक्रिया समय (कुल)6.48sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)6.43sप्रतिक्रिया समय (अधिकतम)8.51sप्रतिक्रिया समय (कुल)12.87sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
6.43sप्रतिक्रिया समय (औसत)…
7,548कुल इनपुट टोकन…
279आउटपुट टोकन…
8,466रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)601msप्रतिक्रिया समय (अधिकतम)634msप्रतिक्रिया समय (कुल)1.20sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
7.2संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
77.8%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
1अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)14.09sप्रतिक्रिया समय (अधिकतम)22.00sप्रतिक्रिया समय (कुल)42.27sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
14.09sप्रतिक्रिया समय (औसत)…
633कुल इनपुट टोकन…
12आउटपुट टोकन…
24,721रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
3.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 3प्रतिक्रिया समय (औसत)611msप्रतिक्रिया समय (अधिकतम)616msप्रतिक्रिया समय (कुल)1.83sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.63sप्रतिक्रिया समय (अधिकतम)3.63sप्रतिक्रिया समय (कुल)3.63sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.63sप्रतिक्रिया समय (औसत)…
486कुल इनपुट टोकन…
115आउटपुट टोकन…
1,650रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
5.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
0.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।निर्देशों का पालन नहीं किया: 1प्रतिक्रिया समय (औसत)541msप्रतिक्रिया समय (अधिकतम)541msप्रतिक्रिया समय (कुल)541msकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.35sप्रतिक्रिया समय (अधिकतम)3.42sप्रतिक्रिया समय (कुल)6.69sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.35sप्रतिक्रिया समय (औसत)…
615कुल इनपुट टोकन…
70आउटपुट टोकन…
3,799रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
6.3सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
50.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)649msप्रतिक्रिया समय (अधिकतम)952msप्रतिक्रिया समय (कुल)1.30sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.23sप्रतिक्रिया समय (अधिकतम)3.68sप्रतिक्रिया समय (कुल)9.69sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.23sप्रतिक्रिया समय (औसत)…
558कुल इनपुट टोकन…
241आउटपुट टोकन…
4,940रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
7.7सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
66.7%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।गलत उत्तर: 1प्रतिक्रिया समय (औसत)586msप्रतिक्रिया समय (अधिकतम)813msप्रतिक्रिया समय (कुल)1.76sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)4.96sप्रतिक्रिया समय (अधिकतम)4.96sप्रतिक्रिया समय (कुल)4.96sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
4.96sप्रतिक्रिया समय (औसत)…
6,115कुल इनपुट टोकन…
265आउटपुट टोकन…
1,608रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
10.0सभी बेंचमार्क परीक्षणों का औसत स्कोर।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)4.79sप्रतिक्रिया समय (अधिकतम)4.79sप्रतिक्रिया समय (कुल)4.79sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
10.0संगति स्कोर रनों के बीच स्थिरता दिखाता है (10 = बहुत स्थिर, भले लगातार गलत हो)।…
100.0%प्रति प्रयास पास दर = पास प्रयास / सभी रनों में कुल प्रयास।…
0अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।…
कोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।कोई विफल उत्तर नहीं।प्रतिक्रिया समय (औसत)3.94sप्रतिक्रिया समय (अधिकतम)3.94sप्रतिक्रिया समय (कुल)3.94sकोई टेस्ट तभी पूरी तरह पास माना जाएगा जब उसके सभी रन पास हों।…
3.94sप्रतिक्रिया समय (औसत)…
156कुल इनपुट टोकन…
12आउटपुट टोकन…
2,005रीजनिंग टोकन…
Grok 4.20 Betaसंग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।