AI BENCHY Compare

Anthropic: Claude Sonnet 4.6 vs Google: Gemini 3.1 Flash Lite

Ringkasan

Perbandingan benchmark Claude Sonnet 4.6 vs Gemini 3.1 Flash Lite: Claude Sonnet 4.6 unggul dalam skor rata-rata dengan 7.8 vs 6.4. Gemini 3.1 Flash Lite memiliki biaya benchmark lebih rendah di $0.028 vs $1.418. Gemini 3.1 Flash Lite lebih cepat di 1.89s vs 17.06s, dengan tingkat keberhasilan 65.1% vs 61.9%.

Model yang direkomendasikan: Gemini 3.1 Flash Lite - It offers the best overall trade-off: a competitive score (6.4), lower cost than Claude Sonnet 4.6, and balanced response time.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-18

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Rilis: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low Rilis: 2026-05-08

Metrik	Claude Sonnet 4.6 Claude Sonnet 4.6 medium Rilis: 2026-02-17	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite low Rilis: 2026-05-08
Skor	7.8	6.4
Peringkat	#31	#85
Keandalan	10.0	10.0
Konsistensi	9.1	9.3
Tes benar
Tingkat lulus per percobaan	65.1%	61.9%
Tes tidak stabil	2	2
Total Run	63	63
Biaya per hasil	10.904	0.227
Total Biaya	$1.418	$0.028
Harga input	$3.000 / 1M	$0.250 / 1M
Harga output	$15.000 / 1M	$1.500 / 1M
Total token input	49,112	36,892
Token output	54,703	2,732
Token penalaran	29,970	9,260
Waktu respons (rata-rata)	17.06s	1.89s
Waktu respons (maks)	46.35s	5.66s
Waktu respons (total)	221.83s	39.62s

Showcase generasi

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#31 Claude Sonnet 4.6

medium

SVG tidak valid

Biaya: $0.000
Waktu: 300.0s
Token: 0 tok

#85 Gemini 3.1 Flash Lite

low

Biaya: $0.003
Waktu: 4.0s
Token: 1,479 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	6.5	10.0	50.0%	0		2.98s	789	1,046	1,093
Gemini 3.1 Flash Lite	7.3	6.2	75.0%	2		1.84s	500	1,013	1,548

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	5.7	6.6	44.4%	1		33.29s	6,995	16,089	3,686
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		1.53s	8,132	471	1,072

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		46.35s	18,351	5,871	3,962
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		4.48s	12,870	348	975

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		13.90s	8,676	649	742
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.44s	7,453	291	697

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	2.9	7.2	11.1%	1		0ms	471	25,790	16,919
Gemini 3.1 Flash Lite	5.3	10.0	33.3%	0		1.52s	639	15	1,214

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		4.94s	564	256	433
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		1.37s	492	69	438

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		2.61s	792	318	552
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.52s	619	72	760

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		5.31s	816	592	646
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		1.40s	570	210	1,191

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	10.0	10.0	100.0%	0		7.48s	11,454	655	351
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		5.66s	5,457	234	945

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Claude Sonnet 4.6	3.0	10.0	0.0%	0		30.09s	204	3,437	1,586
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		1.46s	160	9	420

Perbandingan Cepat

Ganti Pasangan Perbandingan