Claude Opus 4.8 (low) vs Gemini 2.5 Flash (medium)

Gemini 2.5 Flash (medium) average score मध्ये पुढे आहे: 7.3 vs 7.2. Gemini 2.5 Flash (medium) चा benchmark खर्च कमी आहे: $0.644 vs $3.787. Claude Opus 4.8 (low) वेगवान आहे: 17.13s vs 20.51s, pass rates 78.3% vs 68.1%.

AI BENCHY टेस्ट सूटमधून बेंचमार्क या वेळी तयार झाले: 2026-10-01

तुलना केलेली मॉडेल्स

क्रमांक: #143
एकूण आउटपुट टोकन्स: 69,489
प्रतिसाद वेळ (सरासरी): 17.13s
एकूण खर्च: $3.787

क्रमांक: #135
एकूण आउटपुट टोकन्स: 241,365
प्रतिसाद वेळ (सरासरी): 20.51s
एकूण खर्च: $0.644

शिफारस केलेले मॉडेल Gemini 2.5 Flash (medium)

It has the best score here (7.3), while costing about 5.9x less than Claude Opus 4.8 (low).

तपशीलवार तुलना

मेट्रिक	Claude Opus 4.8 Claude Opus 4.8 low प्रकाशन: 2026-05-28	Gemini 2.5 Flash Gemini 2.5 Flash medium प्रकाशन: 2025-06-17

मेट्रिक	Claude Opus 4.8 Claude Opus 4.8 low प्रकाशन: 2026-05-28	Gemini 2.5 Flash Gemini 2.5 Flash medium प्रकाशन: 2025-06-17
स्कोअर	7.2	7.3
क्रमांक	#143	#135
विश्वसनीयता	10.0	10.0
सुसंगतता	8.6	9.6
प्रयत्न	69/69	69/69
बरोबर चाचण्या
प्रति प्रयत्न पास दर	78.3%	68.1%
अस्थिर चाचण्या	4	1
एकूण रन	69	69
प्रति निकाल खर्च	23.669	4.288
एकूण खर्च	$3.787	$0.644
इनपुट किंमत	$5.000 / 1M	$0.300 / 1M
आउटपुट किंमत	$25.000 / 1M	$2.500 / 1M
एकूण इनपुट टोकन्स	409,947	132,507
आउटपुट टोकन्स	46,060	12,739
रिझनिंग टोकन्स	23,429	228,626
प्रतिसाद वेळ (सरासरी)	17.13s	20.51s
प्रतिसाद वेळ (कमाल)	127.97s	140.50s
प्रतिसाद वेळ (एकूण)	394.01s	471.64s
पॅरामीटर्स	~5T एकूण (~500B सक्रिय)	~350B एकूण (~20B सक्रिय)
उपलब्धता	बंद स्रोत	बंद स्रोत

मॉडेल जनरेशन शोकेस

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#143 Claude Opus 4.8

low

खर्च: $0.031
वेळ: 14.1s
टोकन्स: 1,345 tok

#135 Gemini 2.5 Flash

medium

No output was saved. The original provider response or failure reason is unavailable.

खर्च: $0.000
वेळ: 274.0s
टोकन्स: 0 tok

स्कोअरनुसार शीर्ष मॉडेल्स

स्कोअर विरुद्ध एकूण खर्च

प्रतिसाद वेळ (सरासरी)

स्कोअर vs प्रतिसाद वेळ (सरासरी)

एकूण आउटपुट टोकन्स

स्कोअर vs एकूण आउटपुट टोकन्स

श्रेणीवार तपशील

श्रेणी:

स्वायत्त एजंट कार्ये	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	4.7	3.1	33.3%	1		110.68s	253,425	3,004	14,248
Gemini 2.5 Flash	3.0	10.0	0.0%	0		6.54s	0	0	0

अँटी-एआय युक्त्या	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		3.30s	834	793	371
Gemini 2.5 Flash	8.4	10.0	75.0%	0		6.30s	492	255	10,233

कोडिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	6.6	4.6	77.8%	2		7.58s	10,590	3,637	809
Gemini 2.5 Flash	7.8	10.0	66.7%	0		41.01s	6,669	543	32,303

संयुक्त	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	9.9	10.0	100.0%	0		36.87s	119,079	13,586	2,867
Gemini 2.5 Flash	10.0	10.0	100.0%	0		84.47s	110,544	11,112	95,241

डेटा पार्सिंग आणि निष्कर्षण	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	6.3	5.8	66.7%	1		2.27s	10,503	310	0
Gemini 2.5 Flash	10.0	10.0	100.0%	0		4.06s	7,257	279	2,325

डोमेन-विशिष्ट	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	5.3	10.0	33.3%	0		46.54s	972	23,226	4,472
Gemini 2.5 Flash	5.9	7.2	55.6%	1		37.07s	642	18	80,864

Samanya Buddhimatta	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		2.55s	708	231	0
Gemini 2.5 Flash	4.8	10.0	0.0%	0		4.86s	486	92	1,899

सूचनांचे पालन	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	9.8	10.0	100.0%	0		2.78s	909	111	221
Gemini 2.5 Flash	9.8	10.0	100.0%	0		2.62s	615	69	1,203

कोडी सोडवणे	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		3.01s	894	592	184
Gemini 2.5 Flash	7.7	10.0	66.7%	0		3.18s	558	126	2,499

टूल कॉलिंग	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	10.0	10.0	100.0%	0		6.85s	11,775	370	35
Gemini 2.5 Flash	10.0	10.0	100.0%	0		6.20s	5,088	234	1,140

सामान्य ज्ञान	स्कोअर	सुसंगतता	प्रति प्रयत्न पास दर	अस्थिर चाचण्या	बरोबर चाचण्या	प्रतिसाद वेळ (सरासरी)	इनपुट टोकन्स	आउटपुट टोकन्स	रिझनिंग टोकन्स
Claude Opus 4.8	3.0	10.0	0.0%	0		5.48s	258	200	222
Gemini 2.5 Flash	3.0	10.0	0.0%	0		2.76s	156	11	919

झटपट तुलना

तुलना जोडी बदला