AI BENCHY
Advertise here
#24

Gemma 4 31B

Google प्रकाशन: 2026-04-02 चाचणी तारीख: 2026-05-22 00:35 google/gemma-4-31b-it::medium
30.7Bघनमुक्त स्रोत
(medium) (none)

सारांश

Gemma 4 31B AI BENCHY वर 8.0 स्कोर करते आणि #24 वर आहे. याची reliability 6.7, pass rate 75.0%, एकूण खर्च $0.029, आणि सरासरी response time 35.51s आहे.

Gemma 4 31B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
30.7B
आर्किटेक्चर
घन
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

9.2

एकूण आउटपुट टोकन्स

69,291

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$0.120 / 1M

आउटपुट किंमत

$0.370 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 6

प्रति प्रयत्न पास दर: 75.0%

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

35.51s

प्रतिसाद वेळ (कमाल): 150.90s

प्रतिसाद वेळ (एकूण): 639.17s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#24 Gemma 4 31B

medium
खर्च
$0.002
वेळ
45.7s
टोकन्स
2,696 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:55 पुन्हा चाचणी 6.2 10.0 $0.101 तुलना करा
2026-07-16 23:24 नवीन चाचणी जोडली 6.3 10.0 $0.163 तुलना करा
2026-06-04 14:27 नवीन चाचणी जोडली 7.9 8.9 $0.035 तुलना करा
2026-05-22 00:35 सूट बदलला 8.0 6.7 $0.029 सध्याची रन
2026-04-14 00:56 पहिली नोंदलेली रन 8.3 लागू नाही $0.018 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-05-22 00:35 · सूट बदलला60/60 प्रयत्न8.09.26.714/20269,2910$0.02935.51s
2026-08-14 02:55 · पुन्हा चाचणी66/66 प्रयत्न6.28.710.013/223267,42194,969$0.10178.59s
फरक+1.8+0.5-3.3+1-1-198130-94969-$0.072-43082ms

बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 3.8 1.6
संयुक्त 3.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 9.9 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स