AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#4

Gemini 3.1 Pro Preview

Google प्रकाशन: 2026-02-19 चाचणी तारीख: 2026-05-22 00:30 google/gemini-3.1-pro-preview::medium
~1.2T एकूण (~20B सक्रिय)MoEबंद स्रोतअंदाजित

सारांश

Gemini 3.1 Pro Preview AI BENCHY वर 9.3 स्कोर करते आणि #4 वर आहे. याची reliability 10.0, pass rate 90.0%, एकूण खर्च $1.006, आणि सरासरी response time 20.80s आहे.

Gemini 3.1 Pro Preview खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #13. हे एकूणात सर्वाधिक rank असलेल्या मॉडेल्सपैकी एक आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~1.2T एकूण (~20B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

10.0

एकूण आउटपुट टोकन्स

77,341

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$2.000 / 1M

आउटपुट किंमत

$12.000 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 2

प्रति प्रयत्न पास दर: 90.0%

अस्थिर चाचण्या

0

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

20.80s

प्रतिसाद वेळ (कमाल): 88.68s

प्रतिसाद वेळ (एकूण): 270.46s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#4 Gemini 3.1 Pro Preview

medium
खर्च
$0.115
वेळ
87.2s
टोकन्स
9,629 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:51 पुन्हा चाचणी 9.2 10.0 $1.352 तुलना करा
2026-07-16 23:01 नवीन चाचणी जोडली 9.2 10.0 $1.361 तुलना करा
2026-06-04 14:04 नवीन चाचणी जोडली 9.4 10.0 $1.054 तुलना करा
2026-05-22 00:30 सूट बदलला 9.3 10.0 $1.006 सध्याची रन
2026-04-11 01:44 पहिली नोंदलेली रन 9.6 लागू नाही $0.578 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-05-22 00:30 · सूट बदलला60/60 प्रयत्न9.310.010.018/20077,3410$1.00620.80s
2026-06-04 14:04 · नवीन चाचणी जोडली63/63 प्रयत्न9.410.010.019/21080,87341,617$1.05420.14s
फरक-0.10.00.0-10-3532-41617-$0.049+668ms

बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 7.0 9.8
संयुक्त 9.5 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 10.0 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 10.0 10.0

तुलना केलेली मॉडेल्स