AI BENCHY
Advertise here
#108

Gemma 4 31B

Google रिलीज़: 2026-04-02 परीक्षण किया गया: 2026-07-16 23:02 google/gemma-4-31b-it::none
30.7Bसघनमुक्त स्रोत
(medium) (none)

सारांश

Gemma 4 31B AI BENCHY पर 6.2 स्कोर करता है और #108 पर है। इसकी reliability 10.0, pass rate 48.5%, कुल लागत $0.035, और औसत response time 5.34s है।

Gemma 4 31B को अलग क्या बनाता है: यह डोमेन-विशिष्ट में सबसे अलग दिखता है, जहाँ इसकी रैंक #1 है; जबकि टूल कॉलिंग इसकी सबसे कमजोर जगह है, जहाँ यह #18 पर है। इस score range के लिए इसकी कुल benchmark लागत असामान्य रूप से कम है।

मॉडल विवरण

शोध की तारीख: 2026-08-12

घोषित
पैरामीटर
30.7B
आर्किटेक्चर
सघन
उपलब्धता
मुक्त स्रोत
लाइसेंस
Apache-2.0

संगति

9.6

कुल लागत (वर्तमान कीमत)

$0.035 ↑ +6.2%

परीक्षण के समय: $0.033

कुल आउटपुट टोकन

13,317

कुल इनपुट टोकन

125,728

इनपुट कीमत

$0.220 / 1M

आउटपुट कीमत

$0.550 / 1M

सही परीक्षण

गलत टेस्ट: 12

प्रति प्रयास पास दर: 48.5%

अस्थिर टेस्ट

1

अस्थिर टेस्ट में रनों के बीच मिले-जुले परिणाम रहे (कम से कम एक पास और एक फेल)।

प्रतिक्रिया समय (औसत)

5.34s

प्रतिक्रिया समय (अधिकतम): 29.95s

प्रतिक्रिया समय (कुल): 106.82s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#108 Gemma 4 31B

none
लागत
$0.001
समय
12.8s
टोकन
795 tok

रन इतिहास

परीक्षण किया गया स्कोर विश्वसनीयता सही परीक्षण कुल लागत तुलना करें
2026-08-14 02:51 दोबारा परीक्षण 6.1 10.0 $0.018 तुलना करें
2026-07-16 23:02 नया टेस्ट जोड़ा गया 6.2 10.0 $0.035 वर्तमान रन
2026-06-04 14:04 नया टेस्ट जोड़ा गया 6.5 10.0 $0.004 तुलना करें
2026-05-22 00:30 सूट बदला गया 6.7 10.0 $0.003 तुलना करें
2026-04-14 00:56 पहला दर्ज रन 6.9 लागू नहीं $0.003 तुलना करें

इस रन में अलग बेंचमार्क सूट इस्तेमाल हुआ था। ऐतिहासिक बदलाव पढ़ते समय सूट बदलाव को ध्यान में रखें।

रन तुलना

रनबेंचमार्क कवरेजस्कोरसंगतिविश्वसनीयतासही परीक्षणअस्थिर टेस्टकुल आउटपुट टोकनकुल इनपुट टोकनकुल लागतप्रतिक्रिया समय (औसत)
2026-07-16 23:02 · नया टेस्ट जोड़ा गया66/66 प्रयास6.29.610.010/22113,317125,728$0.0355.34s
2026-05-22 00:30 · सूट बदला गया60/60 प्रयास6.710.010.010/2001,3980$0.0033.84s
अंतर-0.5-0.40.00+1+11919+125728+$0.033+1501ms

बेंचमार्क कवरेज अलग है: 66/66 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव) बनाम 60/60 प्रयास (लक्ष्य: प्रति टेस्ट 3 दोहराव)। कुल और दोहराव-संवेदनशील मेट्रिक सीधे तुलना योग्य नहीं हैं।

इन दो रन में अलग-अलग बेंचमार्क सूट इस्तेमाल हुए थे, इसलिए अंतर मॉडल बदलाव और सूट बदलाव दोनों को दर्शाते हैं।

कीमत का इतिहास

OpenRouter से इस मॉडल का ऐतिहासिक मूल्य डेटा।

तारीख इनपुट कीमत आउटपुट कीमत
2026-06-04 15:40 $0.120 / 1M $0.370 / 1M
2026-06-05 23:32 $0.120 / 1M $0.360 / 1M
2026-06-12 18:42 $0.120 / 1M $0.350 / 1M
2026-07-14 10:48 $0.060 / 1M $0.350 / 1M
2026-07-16 15:36 $0.220 / 1M $0.550 / 1M

चार्ट

पहले मॉडल चुनें, फिर दूसरा मॉडल क्लिक करके साइड-बाय-साइड पेज खोलें।

कुल आउटपुट टोकन

स्कोर vs कुल आउटपुट टोकन

त्वरित तुलना

श्रेणी विवरण

श्रेणी स्कोर संगति सही परीक्षण
एंटी-एआई ट्रिक्स 6.5 10.0
कोडिंग 5.5 10.0
संयुक्त 3.8 5.8
डेटा पार्सिंग और निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 7.7 10.0
Samanya Buddhimatta 10.0 10.0
निर्देश पालन 6.5 10.0
पहेली समाधान 6.5 10.0
टूल कॉलिंग 3.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना किए गए मॉडल