Navigatie
AI BENCHY
Advertise here

AI BENCHY Compare

Kwaipilot: KAT-Coder-Pro V2.5 vs OpenAI: GPT-5.4 Mini

Samenvatting

De gemiddelde score is vrijwel gelijk met 8.0 vs 8.0. KAT-Coder-Pro V2.5 (low) heeft lagere benchmarkkosten met $0.220 vs $0.526. KAT-Coder-Pro V2.5 (low) is sneller met 10.44s vs 22.34s, met slagingspercentages van 71.4% vs 73.0%.

Aanbevolen modelKAT-Coder-Pro V2.5 (low)Het heeft hier de beste score (8.0) en kost ongeveer 2.4x minder dan GPT-5.4 Mini (medium).

Benchmarks gegenereerd uit AI BENCHY-testsuites op: 2026-07-14

Metriek KAT-Coder-Pro V2.5 KAT-Coder-Pro V2.5 low Releasedatum: 2026-07-14 GPT-5.4 Mini GPT-5.4 Mini medium Releasedatum: 2026-03-17
Score 8.0 8.0
Rang #35 #33
Betrouwbaarheid 9.9 10.0
Consistentie 7.3 8.0
Correcte tests
Slaagpercentage per poging 71.4% 73.0%
Instabiele tests 7 5
Totaal runs 63 63
Kosten per resultaat 1.991 4.381
Totale kosten $0.220 $0.526
Invoerprijs $0.740 / 1M $0.750 / 1M
Uitvoerprijs $2.960 / 1M $4.500 / 1M
Totaal aantal invoer-tokens 42,750 34,116
Uitvoer-tokens 2,167 2,181
Redeneer-tokens 61,133 108,937
Responstijd (gem.) 10.44s 22.34s
Responstijd (max) 51.34s 138.75s
Responstijd (totaal) 219.17s 469.20s

Generatie-showcase

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#35 KAT-Coder-Pro V2.5

low
Kosten
$0.016
Tijd
47.6s
Tokens
5,182 tok

#33 GPT-5.4 Mini

medium
Kosten
$0.056
Tijd
95.5s
Tokens
12,464 tok

Topmodellen op score

Score vs totale kosten

Responstijd (gem.)

Score vs Responstijd (gem.)

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Categorie-uitsplitsing

Programmeren Score Consistentie Slaagpercentage per poging Instabiele tests Correcte tests Responstijd (gem.) Invoer-tokens Uitvoer-tokens Redeneer-tokens
KAT-Coder-Pro V2.5 7.8 10.0 66.7% 0 24.87s 7,893 402 24,945
GPT-5.4 Mini 8.4 7.4 88.9% 1 57.87s 7,305 467 40,902

Snelle vergelijking

Vergelijkingspaar wisselen