AI BENCHY
AD
Track all your projects in one dashboard. Get 📊stats, 🔥heatmaps and 👀recordings in one self-hosted dashboard.
uxwizz.com
#115

KAT-Coder-Air V2.5

Kwaipilot Toleo: 2026-07-14 Imepimwa tarehe: 2026-07-14 11:05 kwaipilot/kat-coder-air-v2.5::medium
~35B jumla (~3B vinavyotumika)MoEImefungwaMakadirio
(high) (medium) (low) (none)

Muhtasari

KAT-Coder-Air V2.5 hupata alama 6.2 kwenye AI BENCHY na iko nafasi ya #115. Ina reliability 9.7, pass rate 47.6%, gharama jumla $0.045, na wastani wa response time 8.28s.

Kinachofanya KAT-Coder-Air V2.5 iwe ya kipekee: Inaonekana zaidi kwenye Mchanganyiko, ambako iko #1; huku Uandishi wa msimbo ikiwa eneo lake dhaifu zaidi kwenye #18. Gharama yake ya benchmark ni ya chini isivyo kawaida kwa kiwango hiki cha score.

Taarifa za modeli

Ilifanyiwa utafiti tarehe 2026-08-12

Makadirio
Vigezo
~35B jumla (~3B vinavyotumika)
Muundo
MoE
Upatikanaji
Imefungwa
Leseni
-

Makadirio bora kulingana na ushahidi wa umma; mtoa huduma hakufichua thamani zote.

Alama

6.2

Uthabiti

8.8

Uaminifu

9.7

Jumla ya tokeni za matokeo

64,116

Jumla ya tokeni za ingizo

42,750

Bei ya ingizo

$0.150 / 1M

Bei ya toleo

$0.600 / 1M

Majaribio sahihi

Majaribio yenye makosa: 13

Kiwango cha kupita kwa kila jaribio: 47.6%

Majaribio yasiyo thabiti

3

Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).

Muda wa majibu (wastani)

8.28s

Muda wa majibu (upeo): 48.19s

Muda wa majibu (jumla): 173.80s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#115 KAT-Coder-Air V2.5

medium
Gharama
$0.003
Muda
23.7s
Tokeni
4,924 tok

Historia ya uendeshaji

Imepimwa tarehe Alama Uaminifu Majaribio sahihi Jumla ya gharama Linganisha
2026-08-14 03:26 Jaribio tena 5.6 9.6 $0.048 Linganisha
2026-07-16 23:34 Jaribio jipya limeongezwa 5.6 9.9 $0.048 Linganisha
2026-07-14 11:05 Uendeshaji wa kwanza 6.2 9.7 $0.045 Uendeshaji wa sasa

Ulinganisho wa uendeshaji

UendeshajiUfunikaji wa benchmarkAlamaUthabitiUaminifuMajaribio sahihiMajaribio yasiyo thabitiJumla ya tokeni za matokeoJumla ya tokeni za ingizoJumla ya gharamaMuda wa majibu (wastani)
2026-07-14 11:05 · Uendeshaji wa kwanzamarudio 63/636.28.89.78/21364,11642,750$0.0458.28s
2026-07-16 23:34 · Jaribio jipya limeongezwamarudio 66/665.68.99.98/22366,17451,472$0.0488.42s
Tofauti+0.6-0.1-0.200-2058-8722-$0.003-144ms

Ufunikaji wa benchmark unatofautiana: marudio 63/63 (Lengo: marudio 3 kwa kila jaribio) dhidi ya marudio 66/66 (Lengo: marudio 3 kwa kila jaribio). Jumla na vipimo vinavyoathiriwa na marudio haviwezi kulinganishwa moja kwa moja.

Uendeshaji huu miwili ulitumia suite tofauti za benchmark, hivyo tofauti zinaonyesha mabadiliko ya modeli na ya suite pia.

Historia ya bei

Data ya kihistoria ya bei ya modeli hii kutoka OpenRouter.

Tarehe Bei ya ingizo Bei ya toleo
2026-07-14 11:25 $0.150 / 1M $0.600 / 1M

Chati

Chagua modeli ya kwanza, kisha bofya modeli ya pili kufungua ukurasa wa kulinganisha bega kwa bega.

Jumla ya tokeni za matokeo

Alama vs Jumla ya tokeni za matokeo

Ulinganisho wa haraka

Mgawanyo wa kategoria

Kategoria Alama Uthabiti Majaribio sahihi
Mbinu za kupinga AI 8.7 8.0
Uandishi wa msimbo 3.6 7.0
Mchanganyiko 10.0 10.0
Uchanganuzi na uchimbaji wa data 6.5 10.0
Mahususi kwa domeni 3.0 10.0
Akili ya jumla 5.0 10.0
Ufuataji wa maagizo 10.0 10.0
Utatuzi wa mafumbo 3.6 7.2
Mwito wa zana 10.0 10.0
Maarifa ya jumla 3.0 10.0

Modeli zilizolinganishwa