#161

Gemini 2.5 Flash

Google प्रकाशन: 2025-06-17 चाचणी तारीख: 2026-10-01 02:17 google/gemini-2.5-flash::medium

~350B एकूण (~20B सक्रिय)MoEबंद स्रोतअंदाजित

(medium) (none)

सारांश

Gemini 2.5 Flash AI BENCHY वर 7.3 स्कोर करते आणि #161 वर आहे. याची reliability 10.0, pass rate 68.1%, एकूण खर्च $0.680, आणि सरासरी response time 20.51s आहे.

Gemini 2.5 Flash खास का आहे: हे डोमेन-विशिष्ट मध्ये सर्वाधिक उठून दिसते, जिथे त्याचा rank #2 आहे; तर स्वायत्त एजंट कार्ये हा सर्वात कमकुवत भाग आहे, rank #15.

शिफारस केलेले पर्याय

त्याऐवजी यापैकी एक मॉडेल निवडण्याची शिफारस करतो:

Claude Haiku 5.5 (low)

स्कोअर: 8.6 (+1.30 गुण)
एकूण खर्च (सध्याची किंमत): $0.061 · 91.1% स्वस्त
प्रतिसाद वेळ (सरासरी): 7.51s · 63.4% वेगवान

तुलना करा →

GPT-6 Luna (medium)

स्कोअर: 8.3 (+0.99 गुण)
एकूण खर्च (सध्याची किंमत): $0.047 · 93.1% स्वस्त
प्रतिसाद वेळ (सरासरी): 18.07s · 11.9% वेगवान

तुलना करा →

Gemini 3.7 Flash (low)

स्कोअर: 9.4 (+2.09 गुण)
एकूण खर्च (सध्याची किंमत): $0.183 · 73.2% स्वस्त
प्रतिसाद वेळ (सरासरी): 6.24s · 69.6% वेगवान

तुलना करा →

मॉडेलची माहिती

संशोधन दिनांक: 2026-08-12

अंदाजित

पॅरामीटर्स: ~350B एकूण (~20B सक्रिय)
आर्किटेक्चर: MoE
उपलब्धता: बंद स्रोत
परवाना: -

सार्वजनिक पुराव्यावर आधारित सर्वोत्तम अंदाज; प्रदात्याने सर्व मूल्ये जाहीर केलेली नाहीत.

पॅरामीटर स्रोत उपलब्धता स्रोत

स्कोअर

7.3

सुसंगतता

9.6

विश्वसनीयता

10.0

एकूण खर्च (सध्याची किंमत)

$0.680 ↑ +5.6%

या किमतीवर चाचणी केली: $0.644

एकूण आउटपुट टोकन्स

241,365

एकूण इनपुट टोकन्स

132,507

इनपुट किंमत

$0.300 / 1M

आउटपुट किंमत

$2.500 / 1M

कॅश वाचण्याची किंमत

$0.030 / 1M

कॅश लिहिण्याची किंमत

$0.084 / 1M

कॅशच्या किमती इनपुट टोकनला लागू होतात. वाचताना साठवलेले प्रॉम्प्ट पुन्हा वापरले जातात; लिहिताना ते साठवले जातात आणि अधिक खर्च होऊ शकतो. आउटपुट टोकनला आउटपुट किंमत लागू होते.

बरोबर चाचण्या

चुकीच्या चाचण्या: 8

प्रति प्रयत्न पास दर: 68.1%

अस्थिर चाचण्या

अस्थिर चाचण्यांत रन्समध्ये मिश्र निकाल असतात (किमान एक पास आणि एक फेल).

प्रतिसाद वेळ (सरासरी)

20.51s

प्रतिसाद वेळ (कमाल): 140.50s

प्रतिसाद वेळ (एकूण): 471.64s

चुकीचे उत्तर: 6 सूचनांचे पालन केले नाही: 2

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#161 Gemini 2.5 Flash

medium

No output was saved. The original provider response or failure reason is unavailable.

खर्च: $0.000
वेळ: 274.0s
टोकन्स: 0 tok

रन इतिहास

चाचणी तारीख	स्कोअर	विश्वसनीयता	एकूण खर्च	तुलना करा
2026-10-01 02:17 पुन्हा चाचणी	7.3	10.0	$0.680 ↑	सध्याची रन
2026-07-16 23:00 नवीन चाचणी जोडली	8.2	10.0	$0.643	तुलना करा
2026-06-04 14:01 नवीन चाचणी जोडली	7.8	10.0	$0.379	तुलना करा
2026-05-22 00:32 सूट बदलला	7.7	10.0	$0.358	तुलना करा
2026-04-11 01:44 पहिली नोंदलेली रन	8.2	लागू नाही	$0.319	तुलना करा

या रनमध्ये वेगळा बेंचमार्क सूट वापरला गेला. ऐतिहासिक बदल वाचताना सूटमधील बदल लक्षात घ्या.

रन तुलना

रन	बेंचमार्क कव्हरेज	स्कोअर	सुसंगतता	विश्वसनीयता	बरोबर चाचण्या	अस्थिर चाचण्या	एकूण आउटपुट टोकन्स	एकूण इनपुट टोकन्स	एकूण खर्च	प्रतिसाद वेळ (सरासरी)
2026-10-01 02:17 · सध्याची रन	69/69 प्रयत्न	7.3	9.6	10.0	15/23	1	241,365	132,507	$0.680	20.51s
2026-07-16 23:00 · नवीन चाचणी जोडली	66/66 प्रयत्न	8.2	9.6	10.0	15/22	1	241,203	132,498	$0.643	21.18s
फरक	—	-1.0	0.0	0.0	0	0	+162	+9	+$0.037	-671ms

बेंचमार्क कव्हरेज वेगळे आहे: 69/69 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती) विरुद्ध 66/66 प्रयत्न (लक्ष्य: प्रत्येक चाचणीसाठी 3 पुनरावृत्ती). एकूण मूल्ये आणि पुनरावृत्तीवर अवलंबून मेट्रिक्स थेट तुलना करता येत नाहीत.

या दोन रनमध्ये वेगवेगळे बेंचमार्क सूट वापरले गेले, त्यामुळे फरकांमध्ये मॉडेलमधील आणि सूटमधील दोन्ही बदल दिसतात.

किंमत इतिहास

OpenRouter मधील या मॉडेलचा ऐतिहासिक किंमत डेटा.

तारीख	इनपुट किंमत	आउटपुट किंमत	कॅश वाचण्याची किंमत	कॅश लिहिण्याची किंमत
2026-08-14 12:51	$0.300 / 1M	$2.500 / 1M	लागू नाही	लागू नाही
2026-10-01 18:33	$0.300 / 1M	$2.500 / 1M	$0.030 / 1M	$0.084 / 1M

चार्ट्स

पहिले मॉडेल निवडा, नंतर दुसरे मॉडेल क्लिक करून बाजू-बाजूची तुलना पेज उघडा.

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

श्रेणी	स्कोअर	सुसंगतता
स्वायत्त एजंट कार्ये	3.0	10.0
अँटी-एआय युक्त्या	8.4	10.0
कोडिंग	7.8	10.0
संयुक्त	10.0	10.0
डेटा पार्सिंग आणि निष्कर्षण	10.0	10.0
डोमेन-विशिष्ट	5.9	7.2
Samanya Buddhimatta	4.8	10.0
सूचनांचे पालन	9.8	10.0
कोडी सोडवणे	7.7	10.0
टूल कॉलिंग	10.0	10.0
सामान्य ज्ञान	3.0	10.0

Gemini 2.5 Flash

शिफारस केलेले पर्याय

मॉडेलची माहिती

Hamster playing table tennis

#161 Gemini 2.5 Flash

चार्ट्स

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर vs एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

झटपट तुलना

श्रेणीवार तपशील

तुलना केलेली मॉडेल्स