AI BENCHY
Advertise here
#53

Gemma 4 31B

Google प्रकाशन: 2026-04-02 चाचणी तारीख: 2026-04-14 00:56 google/gemma-4-31b-it::none
30.7Bघनमुक्त स्रोत
(medium) (none)

सारांश

Gemma 4 31B AI BENCHY वर 6.9 स्कोर करते आणि #53 वर आहे. याची reliability लागू नाही, pass rate 55.6%, एकूण खर्च $0.003, आणि सरासरी response time 4.02s आहे.

Gemma 4 31B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे. समान मॉडेल्सच्या तुलनेत हे लक्षणीय वेगवान आहे.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

जाहीर केलेले
पॅरामीटर्स
30.7B
आर्किटेक्चर
घन
उपलब्धता
मुक्त स्रोत
परवाना
Apache-2.0

सुसंगतता

10.0

विश्वसनीयता

लागू नाही

एकूण आउटपुट टोकन्स

1,359

एकूण इनपुट टोकन्स

0

इनपुट किंमत

$0.130 / 1M

आउटपुट किंमत

$0.380 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 8

प्रति प्रयत्न पास दर: 55.6%

अस्थिर चाचण्या

0

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

4.02s

प्रतिसाद वेळ (कमाल): 26.13s

प्रतिसाद वेळ (एकूण): 64.33s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#53 Gemma 4 31B

none
खर्च
$0.001
वेळ
12.8s
टोकन्स
795 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:51 पुन्हा चाचणी 6.1 10.0 $0.018 तुलना करा
2026-07-16 23:02 नवीन चाचणी जोडली 6.2 10.0 $0.035 तुलना करा
2026-06-04 14:04 नवीन चाचणी जोडली 6.5 10.0 $0.004 तुलना करा
2026-05-22 00:30 सूट बदलला 6.7 10.0 $0.003 तुलना करा
2026-04-14 00:56 पहिली नोंदलेली रन 6.9 लागू नाही $0.003 सध्याची रन

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-04-14 00:56 · पहिली नोंदलेली रन54/54 प्रयत्न6.910.0लागू नाही10/1801,3590$0.0034.02s
2026-08-14 02:51 · पुन्हा चाचणी66/66 प्रयत्न6.19.610.09/22113,317125,703$0.0185.41s
फरक+0.8+0.4+1-1-11958-125703-$0.015-1385ms

बेंचमार्क कव्हरेज वेगळे आहे: 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 6.5 10.0
कोडिंग 10.0 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
सूचनांचे पालन 6.5 10.0
कोडी सोडवणे 5.5 10.0
टूल कॉलिंग 3.0 10.0

तुलना केलेली मॉडेल्स