#15

Gemma 4 31B

Google प्रकाशन: 2026-04-02 चाचणी तारीख: 2026-04-14 00:56 google/gemma-4-31b-it::medium

30.7Bघनमुक्त स्रोत

(medium) (none)

सारांश

Gemma 4 31B AI BENCHY वर 8.3 स्कोर करते आणि #15 वर आहे. याची reliability लागू नाही, pass rate 79.6%, एकूण खर्च $0.018, आणि सरासरी response time 24.88s आहे.

Gemma 4 31B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले

पॅरामीटर्स: 30.7B
आर्किटेक्चर: घन
उपलब्धता: मुक्त स्रोत
परवाना: Apache-2.0

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

8.3

सुसंगतता

9.2

विश्वसनीयता

लागू नाही

एकूण खर्च (सध्याची किंमत)

$0.018

एकूण आउटपुट टोकन्स

40,684

एकूण इनपुट टोकन्स

इनपुट किंमत

$0.130 / 1M

आउटपुट किंमत

$0.380 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 5

प्रति प्रयत्न पास दर: 79.6%

अस्थिर चाचण्या

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

24.88s

प्रतिसाद वेळ (कमाल): 70.97s

प्रतिसाद वेळ (एकूण): 398.13s

API त्रुटी: 2 सूचनांचे पालन केले नाही: 1 वेळ संपला: 1 चुकीचे उत्तर: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#15 Gemma 4 31B

medium

खर्च: $0.002
वेळ: 45.7s
टोकन्स: 2,696 tok

रन इतिहास

चाचणी तारीख	स्कोअर	विश्वसनीयता	एकूण खर्च	तुलना करा
2026-08-14 02:55 पुन्हा चाचणी	6.2	10.0	$0.101 ↓	तुलना करा
2026-07-16 23:24 नवीन चाचणी जोडली	6.3	10.0	$0.163 ↑	तुलना करा
2026-06-04 14:27 नवीन चाचणी जोडली	7.9	8.9	$0.035 ↓	तुलना करा
2026-05-22 00:35 सूट बदलला	8.0	6.7	$0.029	तुलना करा
2026-04-14 00:56 पहिली नोंदलेली रन	8.3	लागू नाही	$0.018	सध्याची रन

रन तुलना

रन	बेंचमार्क कव्हरेज	स्कोअर	सुसंगतता	विश्वसनीयता	बरोबर चाचण्या	अस्थिर चाचण्या	एकूण आउटपुट टोकन्स	एकूण खर्च	प्रतिसाद वेळ (सरासरी)
2026-04-14 00:56 · पहिली नोंदलेली रन	54/54 प्रयत्न	8.3	9.2	लागू नाही	13/18	2	40,684	$0.018	24.88s
2026-05-22 00:35 · सूट बदलला	60/60 प्रयत्न	8.0	9.2	6.7	14/20	2	69,291	$0.029	35.51s
फरक	—	+0.4	0.0		-1	0	-28607	-$0.012	-10626ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी	स्कोअर	सुसंगतता
अँटी-एआय युक्त्या	10.0	10.0
कोडिंग	4.7	1.6
संयुक्त	3.0	10.0
डेटा पार्सिंग आणि निष्कर्षण	10.0	10.0
डोमेन-विशिष्ट	7.7	10.0
Samanya Buddhimatta	10.0	10.0
सूचनांचे पालन	10.0	10.0
कोडी सोडवणे	8.8	7.9
टूल कॉलिंग	3.0	10.0

Gemma 4 31B

मॉडेलची माहिती

Hamster playing table tennis

#15 Gemma 4 31B

चार्ट्स

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर vs एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

तुलना केलेली मॉडेल्स