#29 Grok 4.20 Beta
medium- लागत
- $0.034
- समय
- 91.0s
- टोकन
- 13,523 tok
सारांश
Grok 4.20 Beta AI BENCHY पर 8.0 स्कोर करता है और #29 पर है। इसकी reliability लागू नहीं, pass rate 74.1%, कुल लागत $0.633, और औसत response time 9.81s है।
Grok 4.20 Beta को अलग क्या बनाता है: यह समान मॉडलों की तुलना में काफ़ी तेज है।
संग्रहीत मॉडल: इस मॉडल को अब अपडेट नहीं किया जाएगा और नए परीक्षणों में टेस्ट नहीं किया जाएगा।
पहचान नोट
Grok 4.20 Beta, xAI: Grok 4.20 का प्रीव्यू संस्करण था।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
8.0
संगति
9.1
लागू नहीं
$0.633
कुल आउटपुट टोकन
93,477
कुल इनपुट टोकन
0
इनपुट कीमत
$0.000 / 1M
आउटपुट कीमत
$0.000 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
2
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-05-06 14:15 दोबारा परीक्षण | 6.0 | लागू नहीं | $0.750 ↑ | तुलना करें | |
| 2026-05-06 14:15 दोबारा परीक्षण | 6.0 | लागू नहीं | $0.750 ↑ | तुलना करें | |
| 2026-05-06 14:15 दोबारा परीक्षण | 8.5 | लागू नहीं | $0.750 ↑ | तुलना करें | |
| 2026-05-06 14:15 दोबारा परीक्षण | 8.2 | लागू नहीं | $0.633 | तुलना करें | |
| 2026-05-06 14:15 दोबारा परीक्षण | 8.2 | लागू नहीं | $0.633 | तुलना करें | |
| 2026-05-06 14:15 सूट बदला गया | 8.2 | लागू नहीं | $0.633 | तुलना करें | |
| 2026-04-11 01:19 पहला दर्ज रन | 8.0 | लागू नहीं | $0.633 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:19 · पहला दर्ज रन | 52/54 प्रयास | 8.0 | 9.1 | लागू नहीं | 12/18 | 2 | 93,477 | 0 | $0.633 | 9.81s |
| 2026-05-06 14:15 · दोबारा परीक्षण | 52/54 प्रयास | 8.5 | 9.5 | लागू नहीं | 14/18 | 1 | 93,212 | 35,955 | $0.750 | 9.75s |
| अंतर | — | -0.5 | -0.4 | -2 | +1 | +265 | -35955 | -$0.118 | +63ms |
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 8.7 | 7.9 | |
| कोडिंग | 10.0 | 10.0 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 10.0 | 10.0 | |
| निर्देश पालन | 8.3 | 10.0 | |
| पहेली समाधान | 8.2 | 7.2 | |
| टूल कॉलिंग | 3.0 | 10.0 |