#4 Gemini 3.1 Pro Preview
medium- खर्च
- $0.115
- वेळ
- 87.2s
- टोकन्स
- 9,629 tok
सारांश
Gemini 3.1 Pro Preview AI BENCHY वर 9.3 स्कोर करते आणि #4 वर आहे. याची reliability 10.0, pass rate 90.0%, एकूण खर्च $1.006, आणि सरासरी response time 20.80s आहे.
Gemini 3.1 Pro Preview खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #13. हे एकूणात सर्वाधिक rank असलेल्या मॉडेल्सपैकी एक आहे.
संशोधन दिनांक: 2026-08-12
सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.
9.3
सुसंगतता
10.0
10.0
$1.006
एकूण आउटपुट टोकन्स
77,341
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$2.000 / 1M
आउटपुट किंमत
$12.000 / 1M
अस्थिर चाचण्या
0
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:51 पुन्हा चाचणी | 9.2 | 10.0 | $1.352 | तुलना करा | |
| 2026-07-16 23:01 नवीन चाचणी जोडली | 9.2 | 10.0 | $1.361 | तुलना करा | |
| 2026-06-04 14:04 नवीन चाचणी जोडली | 9.4 | 10.0 | $1.054 | तुलना करा | |
| 2026-05-22 00:30 सूट बदलला | 9.3 | 10.0 | $1.006 | सध्याची रन | |
| 2026-04-11 01:44 पहिली नोंदलेली रन | 9.6 | लागू नाही | $0.578 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:30 · सूट बदलला | 60/60 प्रयत्न | 9.3 | 10.0 | 10.0 | 18/20 | 0 | 77,341 | 0 | $1.006 | 20.80s |
| 2026-06-04 14:04 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 9.4 | 10.0 | 10.0 | 19/21 | 0 | 80,873 | 41,617 | $1.054 | 20.14s |
| फरक | — | -0.1 | 0.0 | 0.0 | -1 | 0 | -3532 | -41617 | -$0.049 | +668ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 7.0 | 9.8 | |
| संयुक्त | 9.5 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 7.7 | 10.0 | |
| Samanya Buddhimatta | 10.0 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 10.0 | 10.0 | |
| टूल कॉलिंग | 10.0 | 10.0 | |
| सामान्य ज्ञान | 10.0 | 10.0 |