Model yang Dibandingkan

Perbandingan benchmark GPT-5.4 Nano (medium) vs GPT-5.4 Mini (medium) vs Gemini 3.1 Flash Lite Preview (medium) vs Gemini 3 Flash Preview (medium)Gemini 3 Flash Preview (medium) unggul pada Skor dengan 9.6. GPT-5.4 Nano (medium) unggul pada Keandalan dengan 10.0. Gemini 3.1 Flash Lite Preview (medium) memiliki Total Biaya terendah di $0.115. Gemini 3.1 Flash Lite Preview (medium) paling cepat di 4.61s.

Model yang direkomendasikanGemini 3 Flash Preview (medium)It has the strongest score in this comparison (9.6) and the best overall balance of cost and response time across all 4 models.

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-07-17

Metrik	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17	GPT-5.4 Mini GPT-5.4 Mini medium Rilis: 2026-03-17	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview medium Rilis: 2026-03-03	Gemini 3 Flash Preview Gemini 3 Flash Preview medium Rilis: 2025-12-17

Metrik	GPT-5.4 Nano GPT-5.4 Nano medium Rilis: 2026-03-17	GPT-5.4 Mini GPT-5.4 Mini medium Rilis: 2026-03-17	Gemini 3.1 Flash Lite Preview Gemini 3.1 Flash Lite Preview medium Rilis: 2026-03-03	Gemini 3 Flash Preview Gemini 3 Flash Preview medium Rilis: 2025-12-17
Skor	7.5	7.5	7.3	9.6
Peringkat	#51	#54	#61	#1
Keandalan	10.0	10.0	10.0	10.0
Konsistensi	8.5	7.7	9.9	9.7
Tes benar
Tingkat lulus per percobaan	65.2%	71.2%	59.1%	98.5%
Tes tidak stabil	4	6	0	1
Total Run	66	66	66	66
Biaya per hasil	1.150	6.299	0.884	3.533
Total Biaya	$0.138	$0.756	$0.115	$0.742
Harga input	$0.200 / 1M	$0.750 / 1M	$0.250 / 1M	$0.500 / 1M
Harga output	$1.250 / 1M	$4.500 / 1M	$1.500 / 1M	$3.000 / 1M
Total token input	82,819	97,155	117,480	87,861
Token output	7,100	6,211	10,589	5,486
Token penalaran	90,022	145,544	46,394	227,164
Waktu respons (rata-rata)	13.24s	25.94s	4.61s	19.20s
Waktu respons (maks)	94.06s	138.75s	18.34s	117.26s
Waktu respons (total)	291.33s	570.66s	101.39s	422.42s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#51 GPT-5.4 Nano

medium

Biaya: $0.007
Waktu: 24.6s
Token: 4,943 tok

#54 GPT-5.4 Mini

medium

Biaya: $0.056
Waktu: 95.5s
Token: 12,464 tok

#61 Gemini 3.1 Flash Lite Preview

medium

Biaya: $0.003
Waktu: 5.2s
Token: 1,944 tok

#1 Gemini 3 Flash Preview

medium

Biaya: $0.010
Waktu: 18.4s
Token: 3,351 tok

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Kategori:

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	8.3	10.0	75.0%	0	4.52s	606	683	2,254
GPT-5.4 Mini	8.6	7.9	91.7%	1	4.05s	606	296	2,876
Gemini 3.1 Flash Lite Preview	9.1	10.0	75.0%	0	2.33s	512	570	4,305
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	3.88s	494	330	3,216

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	6.1	4.7	66.7%	2	19.12s	7,305	516	20,778
GPT-5.4 Mini	8.4	7.4	88.9%	1	57.87s	7,305	467	40,902
Gemini 3.1 Flash Lite Preview	5.5	10.0	33.3%	0	4.09s	8,126	461	8,597
Gemini 3 Flash Preview	8.6	7.6	88.9%	1	84.40s	8,122	462	161,084

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	9.9	10.0	100.0%	0	32.24s	59,730	4,435	19,221
GPT-5.4 Mini	6.9	5.9	66.7%	1	59.64s	74,058	4,347	40,924
Gemini 3.1 Flash Lite Preview	7.2	9.1	50.0%	0	16.63s	93,097	8,706	16,997
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	26.75s	63,717	3,831	23,496

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	10.0	10.0	100.0%	2.54s	7,140	234	516
GPT-5.4 Mini	10.0	10.0	100.0%	2.43s	7,140	234	650
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	2.29s	7,362	279	2,952
Gemini 3 Flash Preview	10.0	10.0	100.0%	5.43s	7,548	279	4,893

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	5.9	7.2	55.6%	1	38.18s	619	60	43,325
GPT-5.4 Mini	4.1	4.4	44.5%	2	65.31s	619	60	43,286
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	0	4.21s	639	18	5,325
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	15.27s	633	12	21,684

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	4.5	10.0	0.0%	4.15s	477	179	443
GPT-5.4 Mini	4.5	10.0	0.0%	3.72s	477	150	510
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	3.16s	488	96	1,488
Gemini 3 Flash Preview	10.0	10.0	100.0%	5.19s	486	72	1,905

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	9.8	10.0	100.0%	1.88s	660	95	521
GPT-5.4 Mini	9.8	10.0	100.0%	2.13s	660	96	1,185
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	1.91s	621	72	2,121
Gemini 3 Flash Preview	10.0	10.0	100.0%	4.04s	615	72	2,709

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	4.1	7.2	22.2%	1	3.79s	642	594	1,408
GPT-5.4 Mini	7.8	10.0	66.7%	0	4.37s	642	278	2,443
Gemini 3.1 Flash Lite Preview	7.7	10.0	66.7%	0	5.30s	566	141	1,896
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	4.05s	558	183	4,365

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	10.0	10.0	100.0%	0	7.71s	5,445	234	382
GPT-5.4 Mini	4.7	1.6	66.7%	1	9.62s	5,453	251	2,594
Gemini 3.1 Flash Lite Preview	10.0	10.0	100.0%	0	3.80s	5,909	234	912
Gemini 3 Flash Preview	10.0	10.0	100.0%	0	12.60s	5,532	234	1,487

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
GPT-5.4 Nano	3.0	10.0	0.0%	4.81s	195	70	1,174
GPT-5.4 Mini	3.0	10.0	0.0%	30.10s	195	32	10,174
Gemini 3.1 Flash Lite Preview	3.0	10.0	0.0%	2.68s	160	12	1,801
Gemini 3 Flash Preview	10.0	10.0	100.0%	5.50s	156	11	2,325

Perbandingan Cepat

Ganti Pasangan Perbandingan

Claude Sonnet 4.6nonevsGemini 3.1 Flash Lite Previewmedium GPT-5.4 MinimediumvsQwen3.7 Maxnone Claude Opus 4.8nonevsGemini 3.1 Flash Lite Previewmedium Gemini 3.1 Flash Lite PreviewmediumvsKAT-Coder-Pro V2.5low Gemini 3 Flash PreviewmediumvsGPT-5.6 Sollow Gemini 3.1 Flash Lite PreviewmediumvsStep 3.7 Flashlow GPT-5.4 NanomediumvsQwen3.7 Maxnone Gemini 3.1 Flash Lite PreviewmediumvsKAT-Coder-Pro V2.5high Gemini 3 Flash PreviewlowvsGPT-5.4 Minimedium KAT-Coder-Pro V2.5lowvsGPT-5.4 Minimedium Gemini 3.1 Flash Lite PreviewmediumvsQwen3.7 Maxnone DeepSeek V4 ProhighvsGPT-5.4 Nanomedium