#52 xAI: Grok 4.20
medium- खर्च
- $0.041
- वेळ
- 110.3s
- टोकन्स
- 16,336 tok
सारांश
Grok 4.20 AI BENCHY वर 7.0 स्कोर करते आणि #52 वर आहे. याची reliability लागू नाही, pass rate 66.7%, एकूण खर्च $0.743, आणि सरासरी response time 10.33s आहे.
Grok 4.20 खास का आहे: हे संयुक्त मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.
ओळख नोंद
Grok 4.20 Beta हे Grok 4.20 ची प्रीव्ह्यू आवृत्ती होती.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
7.0
सुसंगतता
7.8
लागू नाही
$0.743
एकूण आउटपुट टोकन्स
111,626
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$2.000 / 1M
आउटपुट किंमत
$6.000 / 1M
अस्थिर चाचण्या
5
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:57 पुन्हा चाचणी | 7.0 | 10.0 | $0.805 ↓ | तुलना करा | |
| 2026-07-16 23:07 नवीन चाचणी जोडली | 7.1 | 10.0 | $0.777 ↓ | तुलना करा | |
| 2026-06-04 14:17 नवीन चाचणी जोडली | 7.1 | 10.0 | $0.609 ↓ | तुलना करा | |
| 2026-05-22 00:32 सूट बदलला | 6.7 | 10.0 | $0.832 | तुलना करा | |
| 2026-05-08 15:32 सूट बदलला | 6.9 | 10.0 | $0.756 | तुलना करा | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 7.0 | लागू नाही | $0.743 | सध्याची रन |
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-04-11 01:44 · पहिली नोंदलेली रन | 54/54 प्रयत्न | 7.0 | 7.8 | लागू नाही | 9/18 | 5 | 111,626 | 0 | $0.743 | 10.33s |
| 2026-05-22 00:32 · सूट बदलला | 60/60 प्रयत्न | 6.7 | 8.0 | 10.0 | 10/20 | 5 | 158,105 | 0 | $0.832 | 19.09s |
| फरक | — | +0.3 | -0.2 | -1 | 0 | -46479 | 0 | -$0.089 | -8767ms |
बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 8.2 | 7.9 | |
| कोडिंग | 4.3 | 1.1 | |
| संयुक्त | 10.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 5.3 | 10.0 | |
| Samanya Buddhimatta | 5.8 | 2.8 | |
| सूचनांचे पालन | 7.3 | 5.9 | |
| कोडी सोडवणे | 6.4 | 7.7 | |
| टूल कॉलिंग | 3.0 | 10.0 |