AI BENCHY Compare

Anthropic: Claude Opus 4.7 vs Google: Gemini 3.1 Flash Lite

Ringkasan

Perbandingan benchmark Claude Opus 4.7 vs Gemini 3.1 Flash Lite: Claude Opus 4.7 unggul dalam skor rata-rata dengan 8.7 vs 6.4. Gemini 3.1 Flash Lite memiliki biaya benchmark lebih rendah di $0.028 vs $0.679. Gemini 3.1 Flash Lite lebih cepat di 1.89s vs 4.73s, dengan tingkat keberhasilan 82.5% vs 61.9%.

Model yang direkomendasikan: Gemini 3.1 Flash Lite - It offers the best overall trade-off: a competitive score (6.4), lower cost than Claude Opus 4.7, and balanced response time.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-17

Metrik	Claude Opus 4.7 Claude Opus 4.7 medium Rilis: 2026-04-16	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low Rilis: 2026-05-08

Metrik	Claude Opus 4.7 Claude Opus 4.7 medium Rilis: 2026-04-16	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low Rilis: 2026-05-08
Skor	8.7	6.4
Peringkat	#13	#85
Keandalan	10.0	10.0
Konsistensi	9.6	9.3
Tes benar
Tingkat lulus per percobaan	82.5%	61.9%
Tes tidak stabil	1	2
Total Run	63	63
Biaya per hasil	3.991	0.227
Total Biaya	$0.679	$0.028
Harga input	$5.000 / 1M	$0.250 / 1M
Harga output	$25.000 / 1M	$1.500 / 1M
Total token input	65,406	36,892
Token output	11,858	2,732
Token penalaran	2,198	9,260
Waktu respons (rata-rata)	4.73s	1.89s
Waktu respons (maks)	23.18s	5.66s
Waktu respons (total)	94.51s	39.62s

Generation showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#13 Claude Opus 4.7

medium

Cost: $0.059
Time: 26.8s
Tokens: 2,475 tok

#85 Gemini 3.1 Flash Lite

low

Cost: $0.003
Time: 4.0s
Tokens: 1,479 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	8.3	10.0	75.0%	0		1.85s	894	348	0
Gemini 3.1 Flash Lite	7.3	6.2	75.0%	2		1.84s	500	1,013	1,548

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	7.6	7.2	77.8%	1		12.96s	10,635	7,629	1,114
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		1.53s	8,132	471	1,072

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		21.45s	24,501	2,369	1,084
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		4.48s	12,870	348	975

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		2.37s	10,533	324	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.44s	7,453	291	697

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	7.7	10.0	66.7%	0		1.17s	630	51	0
Gemini 3.1 Flash Lite	5.3	10.0	33.3%	0		1.52s	639	15	1,214

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		2.87s	723	256	0
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		1.37s	492	69	438

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		1.57s	939	114	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.52s	619	72	760

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		2.43s	939	370	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.40s	570	210	1,191

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	10.0	10.0	100.0%	0		4.17s	15,339	373	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		5.66s	5,457	234	945

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Opus 4.7	3.0	10.0	0.0%	0		2.25s	273	24	0
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		1.46s	160	9	420

Perbandingan Cepat

Ganti Pasangan Perbandingan