AI BENCHY Compare

Google: Gemini 3.1 Flash Lite vs Kwaipilot: KAT-Coder-Air V2.5

Rezumat

Scorul mediu este practic egal la 6.1 vs 6.2. Gemini 3.1 Flash Lite are costul de benchmark mai mic, $0.013 vs $0.045. Gemini 3.1 Flash Lite este mai rapid cu 1.06s vs 8.28s, cu rate de reușită de 52.4% vs 47.6%.

Model recomandatGemini 3.1 Flash LiteAre cel mai bun scor aici (6.1) și costă de aproximativ 3.5x mai puțin decât KAT-Coder-Air V2.5 (medium).

Benchmark-urile au fost generate din suitele de teste AI BENCHY la: 2026-07-14

Metrică	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite none Lansare: 2026-05-08	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lansare: 2026-07-14

Metrică	Gemini 3.1 Flash Lite Gemini 3.1 Flash Lite none Lansare: 2026-05-08	KAT-Coder-Air V2.5 KAT-Coder-Air V2.5 medium Lansare: 2026-07-14
Scor	6.1	6.2
Rang	#118	#115
Fiabilitate	10.0	9.7
Consistență	8.6	8.8
Teste corecte
Rată de trecere pe încercare	52.4%	47.6%
Teste instabile	4	3
Rulări totale	63	63
Cost per rezultat	0.144	0.562
Cost total	$0.013	$0.045
Preț de intrare	$0.250 / 1M	$0.150 / 1M
Preț de ieșire	$1.500 / 1M	$0.600 / 1M
Total tokenuri de intrare	36,710	42,750
Tokenuri de ieșire	2,484	7,759
Tokenuri de raționament	0	56,357
Timp de răspuns (mediu)	1.06s	8.28s
Timp de răspuns (maxim)	2.97s	48.19s
Timp de răspuns (total)	22.35s	173.80s

Prezentare generare

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#118 Gemini 3.1 Flash Lite

none

Cost: $0.001
Timp: 4.5s
Tokenuri: 727 tok

#115 KAT-Coder-Air V2.5

medium

Cost: $0.003
Timp: 23.7s
Tokenuri: 4,924 tok

Top modele după scor

Scor vs cost total

Timp de răspuns (mediu)

Scor vs Timp de răspuns (mediu)

Total tokenuri de ieșire

Scor vs Total tokenuri de ieșire

Defalcare pe categorii

Categorie:

Trucuri anti-AI	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	7.5	8.4	66.7%	1		1.07s	506	639	0
KAT-Coder-Air V2.5	8.7	8.0	91.7%	1		3.79s	672	549	4,194

Programare	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	5.5	10.0	33.3%	0		938ms	8,128	666	0
KAT-Coder-Air V2.5	3.6	7.0	22.2%	1		23.37s	7,893	5,199	29,973

Combinat	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		2.73s	12,870	357	0
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		27.68s	15,132	372	4,816

Parsare și extragere de date	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		843ms	7,267	279	0
KAT-Coder-Air V2.5	6.5	10.0	50.0%	0		3.65s	7,776	268	1,881

Specific domeniului	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	2.9	7.2	11.1%	1		762ms	647	15	0
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		4.87s	771	487	4,454

Inteligență generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	4.0	10.0	0.0%	0		992ms	486	63	0
KAT-Coder-Air V2.5	5.0	10.0	0.0%	0		9.81s	516	189	557

Respectarea instrucțiunilor	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		859ms	619	72	0
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		1.50s	699	93	730

Rezolvare de puzzle-uri	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	6.3	4.8	66.7%	2		720ms	570	150	0
KAT-Coder-Air V2.5	3.6	7.2	22.2%	1		1.87s	696	265	1,184

Apelare instrumente	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	10.0	10.0	100.0%	0		2.97s	5,457	234	0
KAT-Coder-Air V2.5	10.0	10.0	100.0%	0		4.77s	8,391	317	906

Cultură generală	Scor	Consistență	Rată de trecere pe încercare	Teste instabile	Teste corecte	Timp de răspuns (mediu)	Tokenuri de intrare	Tokenuri de ieșire	Tokenuri de raționament
Gemini 3.1 Flash Lite	3.0	10.0	0.0%	0		733ms	160	9	0
KAT-Coder-Air V2.5	3.0	10.0	0.0%	0		15.74s	204	20	7,662

Comparație rapidă

Schimbă perechea de comparație