#52 xAI: Grok 4.20
medium- लागत
- $0.041
- समय
- 110.3s
- टोकन
- 16,336 tok
सारांश
Grok 4.20 AI BENCHY पर 7.0 स्कोर करता है और #52 पर है। इसकी reliability लागू नहीं, pass rate 66.7%, कुल लागत $0.743, और औसत response time 10.33s है।
पहचान नोट
Grok 4.20 Beta, Grok 4.20 का प्रीव्यू संस्करण था।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
7.0
संगति
7.8
लागू नहीं
$0.743
कुल आउटपुट टोकन
111,626
कुल इनपुट टोकन
0
इनपुट कीमत
$2.000 / 1M
आउटपुट कीमत
$6.000 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
5
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 02:57 दोबारा परीक्षण | 7.0 | 10.0 | $0.805 ↓ | तुलना करें | |
| 2026-07-16 23:07 नया टेस्ट जोड़ा गया | 7.1 | 10.0 | $0.777 ↓ | तुलना करें | |
| 2026-06-04 14:17 नया टेस्ट जोड़ा गया | 7.1 | 10.0 | $0.609 ↓ | तुलना करें | |
| 2026-05-22 00:32 सूट बदला गया | 6.7 | 10.0 | $0.832 | तुलना करें | |
| 2026-05-08 15:32 सूट बदला गया | 6.9 | 10.0 | $0.756 | तुलना करें | |
| 2026-04-11 01:44 पहला दर्ज रन | 7.0 | लागू नहीं | $0.743 | वर्तमान रन |
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहला दर्ज रन | 54/54 प्रयास | 7.0 | 7.8 | लागू नहीं | 9/18 | 5 | 111,626 | 0 | $0.743 | 10.33s |
| 2026-05-08 15:32 · सूट बदला गया | 57/57 प्रयास | 6.9 | 8.3 | 10.0 | 10/19 | 4 | 130,017 | 0 | $0.756 | 14.53s |
| अंतर | — | +0.1 | -0.5 | -1 | +1 | -18391 | 0 | -$0.014 | -4203ms |
बेंचमार्क कवरेज अलग है: 54/54 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 57/57 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 8.2 | 7.9 | |
| कोडिंग | 4.3 | 1.1 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 5.8 | 2.8 | |
| निर्देश पालन | 7.3 | 5.9 | |
| पहेली समाधान | 6.4 | 7.7 | |
| टूल कॉलिंग | 3.0 | 10.0 |