Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#247#247	Gemini 3.5 Flash Litelow	6.3	Google	$0.183	4.79s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 6 Tokeni za ingizo 275,779 Tokeni za matokeo 14,401 Tokeni za hoja 25,511 Muda wa majibu (wastani) 4.79s Muda wa majibu (jumla) 110.24s Muda wa majibu (upeo) 53.91s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 9.0 Uandishi wa msimbo : 4.3 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.6 Mwito wa zana : 10.0 Maarifa ya jumla : 4.7
#252#252	Ling 3.1 Flashlow	6.3	Inclusionai	$0.000	85.22s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 6 Tokeni za ingizo 271,890 Tokeni za matokeo 190,841 Tokeni za hoja 513,329 Muda wa majibu (wastani) 85.22s Muda wa majibu (jumla) 1960.12s Muda wa majibu (upeo) 432.81s Hakuna jibu: 4 Hakufuata maelekezo: 3 Jibu lisilo sahihi: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.6 Mchanganyiko : 6.6 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 3.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.9 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#263#263	Gemini 3.1 Flash Lite Previewnone	6.2	Google	$0.090	3.60s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 55.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 261,962 Tokeni za matokeo 12,799 Tokeni za hoja 2,961 Muda wa majibu (wastani) 3.60s Muda wa majibu (jumla) 82.91s Muda wa majibu (upeo) 48.59s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 2 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#290#290	Ling 3.0 Flashhigh	5.8	Inclusionai	$0.021 ↕	13.08s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 4 Tokeni za ingizo 132,044 Tokeni za matokeo 92,135 Tokeni za hoja 207,321 Muda wa majibu (wastani) 13.08s Muda wa majibu (jumla) 287.79s Muda wa majibu (upeo) 75.27s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Mwito wa zana si sahihi: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.7 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#325#325	Qwen3.6 Max Previewnone	5.3	Qwen	$0.228 ↓	7.82s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 53.6% Majaribio yasiyo thabiti 2 Tokeni za ingizo 106,348 Tokeni za matokeo 19,257 Tokeni za hoja 0 Muda wa majibu (wastani) 7.82s Muda wa majibu (jumla) 172.04s Muda wa majibu (upeo) 102.62s Jibu lisilo sahihi: 11 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 5.2 Uandishi wa msimbo : 3.8 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#419#419	Span-02default	2.8	Respan	$0.001	1.36s
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 70,626 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 1.36s Muda wa majibu (jumla) 16.37s Muda wa majibu (upeo) 5.71s Jibu lisilo sahihi: 6 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 5.8 Uandishi wa msimbo : 4.9 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 5.0 Utatuzi wa mafumbo : 1.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 67,092 Tokeni za matokeo 18,927 Tokeni za hoja 0 Muda wa majibu (wastani) 698ms Muda wa majibu (jumla) 8.38s Muda wa majibu (upeo) 1.08s Jibu lisilo sahihi: 6 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.2 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 3.3 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#433#433	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 1,971 Tokeni za matokeo 50,509 Tokeni za hoja 33,867 Muda wa majibu (wastani) 39.03s Muda wa majibu (jumla) 312.26s Muda wa majibu (upeo) 114.12s Hitilafu ya API: 4 Hakufuata maelekezo: 1 Jibu lisilo sahihi: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 1.0 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 1.5 Mahususi kwa domeni : 3.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 5.0 Utatuzi wa mafumbo : 0.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#104#104	DeepSeek V4 Pro 0423high	8.1	DeepSeek	$0.149 ↓	91.29s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 287,061 Tokeni za matokeo 32,056 Tokeni za hoja 196,607 Muda wa majibu (wastani) 91.29s Muda wa majibu (jumla) 2099.56s Muda wa majibu (upeo) 416.76s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 2 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 5.7 Uandishi wa msimbo : 6.3 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 10.0 Ufuataji wa maagizo : 7.8 Utatuzi wa mafumbo : 6.9 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#133#133	Muse Glimmer 30Bhigh	7.7	Meta	$0.506 ↓	69.87s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 8 Tokeni za ingizo 281,859 Tokeni za matokeo 102,526 Tokeni za hoja 286,217 Muda wa majibu (wastani) 69.87s Muda wa majibu (jumla) 1607.12s Muda wa majibu (upeo) 451.90s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 3 Hakuna jibu: 2 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 8.8 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.3 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 6.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#151#151	Seed-2.0-Codemedium	7.4	Bytedance Seed	$1.275	100.65s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 8.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 7 Tokeni za ingizo 244,499 Tokeni za matokeo 8,744 Tokeni za hoja 375,349 Muda wa majibu (wastani) 100.65s Muda wa majibu (jumla) 2314.88s Muda wa majibu (upeo) 626.58s Jibu lisilo sahihi: 6 Hitilafu ya API: 4 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 8.9 Mchanganyiko : 4.7 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.8 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#173#173	Step 3.7 Flashlow	7.2	Stepfun	$0.449	20.72s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 6 Tokeni za ingizo 292,685 Tokeni za matokeo 339,108 Tokeni za hoja 0 Muda wa majibu (wastani) 20.72s Muda wa majibu (jumla) 476.67s Muda wa majibu (upeo) 124.75s Jibu lisilo sahihi: 9 Mwito wa zana si sahihi: 2 Hakuna jibu: 1 Kazi za mawakala : 7.4 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 8.2 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 3.4 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.5 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#174#174	Qwen3.6 27Bmedium	7.2	Qwen	$1.021 ↑	107.79s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 62.3% Majaribio yasiyo thabiti 7 Tokeni za ingizo 264,147 Tokeni za matokeo 34,419 Tokeni za hoja 253,480 Muda wa majibu (wastani) 107.79s Muda wa majibu (jumla) 2479.26s Muda wa majibu (upeo) 1085.11s Jibu lisilo sahihi: 5 Hakuna jibu: 3 Mwito wa zana si sahihi: 2 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 7.7 Mchanganyiko : 6.7 Uchanganuzi na uchimbaji wa data : 3.5 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#183#183	Kimi K2.7 Codemedium	7.0	Moonshot AI	$1.136 ↑	81.18s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 5 Tokeni za ingizo 245,179 Tokeni za matokeo 62,697 Tokeni za hoja 196,621 Muda wa majibu (wastani) 81.18s Muda wa majibu (jumla) 1785.87s Muda wa majibu (upeo) 365.80s Jibu lisilo sahihi: 8 Muda umeisha: 2 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 7.8 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.7 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#189#189	Muse Glimmer 30Blow	6.9	Meta	$0.219 ↓	22.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 6 Tokeni za ingizo 307,228 Tokeni za matokeo 36,044 Tokeni za hoja 71,621 Muda wa majibu (wastani) 22.40s Muda wa majibu (jumla) 515.14s Muda wa majibu (upeo) 234.92s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 3 Mwito wa zana si sahihi: 2 Hakuna jibu: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 8.1 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 5.0 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#193#193	GPT-5.6 Lunalow	6.9	OpenAI	$0.049 ↓	6.96s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 56.5% Majaribio yasiyo thabiti 5 Tokeni za ingizo 202,680 Tokeni za matokeo 9,230 Tokeni za hoja 18,771 Muda wa majibu (wastani) 6.96s Muda wa majibu (jumla) 160.19s Muda wa majibu (upeo) 45.74s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 2.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.0 Ufuataji wa maagizo : 8.5 Utatuzi wa mafumbo : 7.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#198#198	Inklinglow	6.8	Thinkingmachines	$0.293 ↓	6.81s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 56.5% Majaribio yasiyo thabiti 4 Tokeni za ingizo 213,901 Tokeni za matokeo 9,623 Tokeni za hoja 12,414 Muda wa majibu (wastani) 6.81s Muda wa majibu (jumla) 156.70s Muda wa majibu (upeo) 44.24s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 2 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.1 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 6.4 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#201#201	Space Bunny Alphamax	6.7	Stealth	$0.000	36.24s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 5 Tokeni za ingizo 315,136 Tokeni za matokeo 219,014 Tokeni za hoja 0 Muda wa majibu (wastani) 36.24s Muda wa majibu (jumla) 833.43s Muda wa majibu (upeo) 320.00s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 2 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 6.4 Uandishi wa msimbo : 5.7 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 5.3 Ufuataji wa maagizo : 5.9 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#206#206	Solar Pro 4low	6.7	Upstage	$0.101 ↑	145.21s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 7 Tokeni za ingizo 384,974 Tokeni za matokeo 13,946 Tokeni za hoja 371,916 Muda wa majibu (wastani) 145.21s Muda wa majibu (jumla) 3339.87s Muda wa majibu (upeo) 640.89s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.0 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#208#208	MiniMax M3medium	6.7	Minimax	$0.422 ↑	77.03s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 5 Tokeni za ingizo 166,517 Tokeni za matokeo 107,386 Tokeni za hoja 217,548 Muda wa majibu (wastani) 77.03s Muda wa majibu (jumla) 1694.74s Muda wa majibu (upeo) 431.03s Jibu lisilo sahihi: 5 Muda umeisha: 3 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Hakuna jibu: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 5.5 Uandishi wa msimbo : 6.1 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.2 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#209#209	Ember-1max	6.7	Fireworks	$3.264	97.34s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 8.3 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 6 Tokeni za ingizo 153,399 Tokeni za matokeo 7,803 Tokeni za hoja 179,098 Muda wa majibu (wastani) 97.34s Muda wa majibu (jumla) 2238.73s Muda wa majibu (upeo) 587.08s Hitilafu ya API: 8 Jibu lisilo sahihi: 3 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 5.2 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.4 Mahususi kwa domeni : 3.6 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.2 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#212#212	Apodex 1.1 Minihigh	6.7	Apodex	$0.000	31.25s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 9 Tokeni za ingizo 365,069 Tokeni za matokeo 133,336 Tokeni za hoja 344,133 Muda wa majibu (wastani) 31.25s Muda wa majibu (jumla) 718.67s Muda wa majibu (upeo) 114.61s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.5 Mchanganyiko : 4.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 8.0 Utatuzi wa mafumbo : 8.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#213#213	GLM 5.3 Flashlow	6.6	Z.ai	$0.038	11.82s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 58.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 255,173 Tokeni za matokeo 9,891 Tokeni za hoja 17,277 Muda wa majibu (wastani) 11.82s Muda wa majibu (jumla) 271.92s Muda wa majibu (upeo) 90.45s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 5.4 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#219#219	Step 3.7 Flashhigh	6.6	Stepfun	$1.478 ↑	72.72s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 58.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 421,200 Tokeni za matokeo 1,100,052 Tokeni za hoja 0 Muda wa majibu (wastani) 72.72s Muda wa majibu (jumla) 1672.53s Muda wa majibu (upeo) 364.99s Jibu lisilo sahihi: 8 Hakuna jibu: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.4 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 4.0 Mchanganyiko : 8.7 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.5 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#221#221	KAT-Coder-Pro V2.5low	6.5	Kwaipilot	$0.568 ↑	19.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 8 Tokeni za ingizo 87,682 Tokeni za matokeo 7,166 Tokeni za hoja 106,027 Muda wa majibu (wastani) 19.40s Muda wa majibu (jumla) 446.11s Muda wa majibu (upeo) 209.15s Jibu lisilo sahihi: 10 Hitilafu ya API: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 7.8 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 4.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 6.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

←

1 9 10 11 18

→

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow