AI BENCHY
Advertise here
#184

Gemini 2.5 Flash

Google प्रकाशन: 2025-06-17 चाचणी तारीख: 2026-08-14 02:44 google/gemini-2.5-flash::none
~350B एकूण (~20B सक्रिय)MoEबंद स्रोतअंदाजित
(medium) (none)

सारांश

Gemini 2.5 Flash AI BENCHY वर 6.0 स्कोर करते आणि #184 वर आहे. याची reliability 10.0, pass rate 39.4%, एकूण खर्च $0.017, आणि सरासरी response time 6.19s आहे.

Gemini 2.5 Flash खास का आहे: हे सूचनांचे पालन मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #1 आहे; तर अँटी-एआय युक्त्या हा सर्वात कमकुवत भाग आहे, rank #15.

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित
पॅरामीटर्स
~350B एकूण (~20B सक्रिय)
आर्किटेक्चर
MoE
उपलब्धता
बंद स्रोत
परवाना
-

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

सुसंगतता

9.6

एकूण आउटपुट टोकन्स

1,890

एकूण इनपुट टोकन्स

39,886

इनपुट किंमत

$0.300 / 1M

आउटपुट किंमत

$2.500 / 1M

बरोबर चाचण्या

चुकीच्या चाचण्या: 14

प्रति प्रयत्न पास दर: 39.4%

अस्थिर चाचण्या

1

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

6.19s

प्रतिसाद वेळ (कमाल): 118.00s

प्रतिसाद वेळ (एकूण): 136.23s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#184 Gemini 2.5 Flash

none
अवैध SVG
खर्च
$0.164
वेळ
215.5s
टोकन्स
65,659 tok

रन इतिहास

चाचणी तारीख स्कोअर विश्वसनीयता बरोबर चाचण्या एकूण खर्च तुलना करा
2026-08-14 02:44 पुन्हा चाचणी 6.0 10.0 $0.017 सध्याची रन
2026-07-16 22:58 नवीन चाचणी जोडली 6.2 10.0 $0.017 तुलना करा
2026-06-04 14:00 नवीन चाचणी जोडली 6.2 10.0 $0.016 तुलना करा
2026-05-22 00:28 सूट बदलला 6.2 10.0 $0.015 तुलना करा
2026-04-11 01:44 पहिली नोंदलेली रन 6.2 लागू नाही $0.013 तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रनबेंचमार्क कव्हरेजस्कोअरसुसंगतताविश्वसनीयताबरोबर चाचण्याअस्थिर चाचण्याएकूण आउटपुट टोकन्सएकूण इनपुट टोकन्सएकूण खर्चप्रतिसाद वेळ (सरासरी)
2026-08-14 02:44 · सध्याची रन66/66 प्रयत्न6.09.610.08/2211,89039,886$0.0176.19s
2026-04-11 01:44 · पहिली नोंदलेली रन54/54 प्रयत्न6.29.2लागू नाही7/1821,7260$0.013903ms
फरक-0.1+0.4+1-1+164+39886+$0.004+5289ms

बेंचमार्क कव्हरेज वेगळे आहे: 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 54/54 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख इनपुट किंमत आउटपुट किंमत
2026-08-14 12:51 $0.300 / 1M $2.500 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी स्कोअर सुसंगतता बरोबर चाचण्या
अँटी-एआय युक्त्या 3.0 10.0
कोडिंग 5.5 10.0
संयुक्त 3.0 10.0
डेटा पार्सिंग आणि निष्कर्षण 10.0 10.0
डोमेन-विशिष्ट 3.6 7.2
Samanya Buddhimatta 5.0 10.0
सूचनांचे पालन 10.0 10.0
कोडी सोडवणे 7.7 10.0
टूल कॉलिंग 10.0 10.0
सामान्य ज्ञान 3.0 10.0

तुलना केलेली मॉडेल्स