AI BENCHY
Advertise here
#104

Gemma 4 31B

Google प्रकाशन: 2026-04-02 चाचणी तारीख: 2026-07-16 23:24 google/gemma-4-31b-it::medium
30.7Bघनमुक्त स्रोत
(medium) (none)

सारांश

Gemma 4 31B AI BENCHY वर 6.3 स्कोर करते आणि #104 वर आहे. याची reliability 10.0, pass rate 68.2%, एकूण खर्च $0.163, आणि सरासरी response time 75.38s आहे.

Gemma 4 31B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
30.7B
आर्किटेक्चर
घन
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

9.0

एकूण खर्च (सध्याची किंमत)

$0.163 ↑ +10.9%

या किमतीवर चाचणी केली: $0.147

एकूण आउटपुट टोकन्स

257,746

एकूण इनपुट टोकन्स

94,992

इनपुट किंमत

$0.220 / 1M

आउटपुट किंमत

$0.550 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 8

प्रति प्रयत्न पास दर: 68.2%

अस्थिर चाचण्या

2

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

75.38s

प्रतिसाद वेळ (कमाल): 437.40s

प्रतिसाद वेळ (एकूण): 1507.52s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#104 Gemma 4 31B

medium
खर्च
$0.002
वेळ
45.7s
टोकन्स
2,696 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:55 पुन्हा चाचणी 6.2 10.0 $0.101 तुलना करा
2026-07-16 23:24 नवीन चाचणी जोडली 6.3 10.0 $0.163 सध्याची रन
2026-06-04 14:27 नवीन चाचणी जोडली 7.9 8.9 $0.035 तुलना करा
2026-05-22 00:35 सूट बदलला 8.0 6.7 $0.029 तुलना करा
2026-04-14 00:56 पहिली नोंदलेली रन 8.3 लागू नाही $0.018 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-07-16 23:24 · नवीन चाचणी जोडली66/66 प्रयत्न6.39.010.014/222257,74694,992$0.16375.38s
2026-05-22 00:35 · सूट बदलला60/60 प्रयत्न8.09.26.714/20269,2910$0.02935.51s
फरक-1.7-0.2+3.300+188455+94992+$0.134+39866ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-06-04 15:40 $0.120 / 1M $0.370 / 1M
2026-06-05 23:32 $0.120 / 1M $0.360 / 1M
2026-06-12 18:42 $0.120 / 1M $0.350 / 1M
2026-07-14 10:48 $0.060 / 1M $0.350 / 1M
2026-07-16 15:36 $0.220 / 1M $0.550 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 10.0 10.0
कोडिंग 4.3 5.8
संयुक्त 2.9 5.8
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 9.9 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स