AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Google: Gemini 3.1 Flash Lite

Ringkasan

Perbandingan benchmark Claude Sonnet 4.6 vs Gemini 3.1 Flash Lite: Gemini 3.1 Flash Lite unggul dalam skor rata-rata dengan 7.8 vs 7.3. Gemini 3.1 Flash Lite memiliki biaya benchmark lebih rendah di $0.071 vs $0.316. Gemini 3.1 Flash Lite lebih cepat di 3.23s vs 5.04s, dengan tingkat keberhasilan 55.6% vs 65.1%.

Model yang direkomendasikan: Gemini 3.1 Flash Lite - It has the best score here (7.8), while costing about 4.5x less than Claude Sonnet 4.6.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-18

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 none Rilis: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium Rilis: 2026-05-08

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 none Rilis: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite medium Rilis: 2026-05-08
Skor	7.3	7.8
Peringkat	#55	#34
Keandalan	10.0	10.0
Konsistensi	9.7	9.2
Tes benar
Tingkat lulus per percobaan	55.6%	65.1%
Tes tidak stabil	1	2
Total Run	63	63
Biaya per hasil	2.870	0.539
Total Biaya	$0.316	$0.071
Harga input	$3.000 / 1M	$0.250 / 1M
Harga output	$15.000 / 1M	$1.500 / 1M
Total token input	57,886	36,808
Token output	9,465	2,254
Token penalaran	0	38,300
Waktu respons (rata-rata)	5.04s	3.23s
Waktu respons (maks)	23.84s	10.87s
Waktu respons (total)	70.60s	67.80s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#55 Claude Sonnet 4.6

none

Biaya: $0.038
Waktu: 27.3s
Token: 2,598 tok

#34 Gemini 3.1 Flash Lite

medium

Biaya: $0.003
Waktu: 5.3s
Token: 1,754 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	4.8	10.0	25.0%	0		2.94s	636	1,214	0
Gemini 3.1 Flash Lite	9.1	10.0	75.0%	0		2.39s	502	604	4,201

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	5.5	10.0	33.3%	0		5.19s	8,522	2,127	0
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		3.81s	8,134	459	8,978

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	9.5	10.0	100.0%	0		23.84s	26,024	3,766	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		10.87s	12,873	327	7,401

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		3.43s	8,574	252	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	7,362	279	2,845

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	7.7	10.0	66.7%	0		3.54s	759	413	0
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		3.16s	643	15	5,165

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.1	3.1	66.7%	1		2.56s	513	192	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.60s	488	84	1,142

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.5	10.0	50.0%	0		1.96s	690	90	0
Gemini 3.1 Flash Lite	9.9	10.0	100.0%	0		2.59s	623	75	3,320

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	7.7	10.0	66.7%	0		2.53s	663	533	0
Gemini 3.1 Flash Lite	7.6	7.2	77.8%	1		1.95s	568	165	2,450

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.11s	11,301	447	0
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		4.55s	5,457	234	921

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	3.0	10.0	0.0%	0		4.67s	204	431	0
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		3.08s	158	12	1,877

Perbandingan Cepat

Ganti Pasangan Perbandingan