#46 xAI: Grok Build 0.1
medium- लागत
- $0.028
- समय
- 81.3s
- टोकन
- 14,009 tok
सारांश
Grok Build 0.1 AI BENCHY पर 7.6 स्कोर करता है और #46 पर है। इसकी reliability 10.0, pass rate 70.0%, कुल लागत $0.633, और औसत response time 26.36s है।
Grok Build 0.1 को अलग क्या बनाता है: यह डोमेन-विशिष्ट में सबसे अलग दिखता है, जहाँ इसकी रैंक #3 है; जबकि कोडिंग इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है।
शोध की तारीख: 2026-08-12
सार्वजनिक साक्ष्यों पर आधारित सर्वोत्तम अनुमान; प्रदाता ने सभी मान जारी नहीं किए हैं।
7.6
संगति
8.5
10.0
$0.633
कुल आउटपुट टोकन
295,603
कुल इनपुट टोकन
0
इनपुट कीमत
$1.000 / 1M
आउटपुट कीमत
$2.000 / 1M
कैश पढ़ने की कीमत
लागू नहीं
कैश लिखने की कीमत
लागू नहीं
कैश की कीमतें इनपुट टोकन पर लागू होती हैं। पढ़ने पर कैश किए गए प्रॉम्प्ट का दोबारा उपयोग होता है; लिखने पर वे सहेजे जाते हैं और अतिरिक्त लागत हो सकती है। आउटपुट टोकन पर आउटपुट की कीमत लागू होती है।
अस्थिर टेस्ट
4
अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| परीक्षण किया गया | स्कोर | विश्वसनीयता | सही परीक्षण | कुल लागत | तुलना करें |
|---|---|---|---|---|---|
| 2026-08-14 02:58 दोबारा परीक्षण | 7.5 | 10.0 | $1.130 | तुलना करें | |
| 2026-07-16 23:10 नया टेस्ट जोड़ा गया | 7.6 | 10.0 | $1.097 | तुलना करें | |
| 2026-06-04 14:22 नया टेस्ट जोड़ा गया | 7.4 | 10.0 | $0.927 | तुलना करें | |
| 2026-05-26 13:30 दोबारा परीक्षण | 7.7 | 10.0 | $0.729 | तुलना करें | |
| 2026-05-22 00:36 सूट बदला गया | 7.6 | 10.0 | $0.633 | वर्तमान रन |
इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।
रन तुलना
| रन | बेंचमार्क कवरेज | स्कोर | संगति | विश्वसनीयता | सही परीक्षण | अस्थिर टेस्ट | कुल आउटपुट टोकन | कुल इनपुट टोकन | कुल लागत | प्रतिक्रिया समय (औसत) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:36 · सूट बदला गया | 60/60 प्रयास | 7.6 | 8.5 | 10.0 | 12/20 | 4 | 295,603 | 0 | $0.633 | 26.36s |
| 2026-06-04 14:22 · नया टेस्ट जोड़ा गया | 63/63 प्रयास | 7.4 | 9.9 | 10.0 | 13/21 | 0 | 440,800 | 44,418 | $0.927 | 49.90s |
| अंतर | — | +0.2 | -1.4 | 0.0 | -1 | +4 | -145197 | -44418 | -$0.294 | -23542ms |
बेंचमार्क कवरेज अलग है: 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 63/63 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।
इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।
पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।
| श्रेणी | स्कोर | संगति | सही परीक्षण |
|---|---|---|---|
| एंटी-एआई ट्रिक्स | 10.0 | 10.0 | |
| कोडिंग | 5.3 | 2.9 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग और निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 3.8 | 2.5 | |
| निर्देश पालन | 9.8 | 10.0 | |
| पहेली समाधान | 6.2 | 7.5 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |