#24 Gemma 4 31B
medium- खर्च
- $0.002
- वेळ
- 45.7s
- टोकन्स
- 2,696 tok
सारांश
Gemma 4 31B AI BENCHY वर 8.0 स्कोर करते आणि #24 वर आहे. याची reliability 6.7, pass rate 75.0%, एकूण खर्च $0.029, आणि सरासरी response time 35.51s आहे.
Gemma 4 31B खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर कोडिंग हा सर्वात कमकुवत भाग आहे, rank #18. या score range साठी एकूण benchmark खर्च असामान्यपणे कमी आहे.
संशोधन दिनांक: 2026-08-12
8.0
सुसंगतता
9.2
6.7
$0.029
एकूण आउटपुट टोकन्स
69,291
एकूण इनपुट टोकन्स
0
इनपुट किंमत
$0.120 / 1M
आउटपुट किंमत
$0.370 / 1M
अस्थिर चाचण्या
2
अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
रन इतिहास
| चाचणी तारीख | स्कोअर | विश्वसनीयता | बरोबर चाचण्या | एकूण खर्च | तुलना करा |
|---|---|---|---|---|---|
| 2026-08-14 02:55 पुन्हा चाचणी | 6.2 | 10.0 | $0.101 ↓ | तुलना करा | |
| 2026-07-16 23:24 नवीन चाचणी जोडली | 6.3 | 10.0 | $0.163 ↑ | तुलना करा | |
| 2026-06-04 14:27 नवीन चाचणी जोडली | 7.9 | 8.9 | $0.035 ↓ | तुलना करा | |
| 2026-05-22 00:35 सूट बदलला | 8.0 | 6.7 | $0.029 | सध्याची रन | |
| 2026-04-14 00:56 पहिली नोंदलेली रन | 8.3 | लागू नाही | $0.018 | तुलना करा |
या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.
रन तुलना
| रन | बेंचमार्क कव्हरेज | स्कोअर | सुसंगतता | विश्वसनीयता | बरोबर चाचण्या | अस्थिर चाचण्या | एकूण आउटपुट टोकन्स | एकूण इनपुट टोकन्स | एकूण खर्च | प्रतिसाद वेळ (सरासरी) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-22 00:35 · सूट बदलला | 60/60 प्रयत्न | 8.0 | 9.2 | 6.7 | 14/20 | 2 | 69,291 | 0 | $0.029 | 35.51s |
| 2026-06-04 14:27 · नवीन चाचणी जोडली | 63/63 प्रयत्न | 7.9 | 9.1 | 8.9 | 14/21 | 2 | 88,082 | 17,957 | $0.035 | 56.55s |
| फरक | — | +0.1 | +0.1 | -2.2 | 0 | 0 | -18791 | -17957 | -$0.006 | -21038ms |
बेंचमार्क कव्हरेज वेगळे आहे: 60/60 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 63/63 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.
या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.
पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.
| श्रेणी | स्कोअर | सुसंगतता | बरोबर चाचण्या |
|---|---|---|---|
| अँटी-एआय युक्त्या | 10.0 | 10.0 | |
| कोडिंग | 3.8 | 1.6 | |
| संयुक्त | 3.0 | 10.0 | |
| डेटा पार्सिंग आणि निष्कर्षण | 10.0 | 10.0 | |
| डोमेन-विशिष्ट | 7.7 | 10.0 | |
| Samanya Buddhimatta | 10.0 | 10.0 | |
| सूचनांचे पालन | 10.0 | 10.0 | |
| कोडी सोडवणे | 9.9 | 10.0 | |
| टूल कॉलिंग | 3.0 | 10.0 | |
| सामान्य ज्ञान | 3.0 | 10.0 |