Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#362#362	Granite 4.2 8Bhigh	4.7	IBM Granite	$0.111	235.35s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 8.2 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 10 Tokeni za ingizo 282,658 Tokeni za matokeo 198,563 Tokeni za hoja 462,804 Muda wa majibu (wastani) 235.35s Muda wa majibu (jumla) 5413.09s Muda wa majibu (upeo) 685.87s Muda umeisha: 10 Jibu lisilo sahihi: 7 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 3.8 Mchanganyiko : 5.0 Uchanganuzi na uchimbaji wa data : 3.8 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.5 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 2.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#368#368	Laguna S 2.1low	4.6	Poolside	$0.108 ↓	88.24s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 20 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 23.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 232,641 Tokeni za matokeo 69,335 Tokeni za hoja 426,182 Muda wa majibu (wastani) 88.24s Muda wa majibu (jumla) 2029.57s Muda wa majibu (upeo) 814.73s Jibu lisilo sahihi: 16 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 2.8 Mbinu za kupinga AI : 3.4 Uandishi wa msimbo : 3.8 Mchanganyiko : 3.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 4.3 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#390#390	Qwen3.5-9Bmedium	4.0	Qwen	$0.106	110.18s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 20 Uaminifu 8.7 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 6 Tokeni za ingizo 387,323 Tokeni za matokeo 48,562 Tokeni za hoja 410,431 Muda wa majibu (wastani) 110.18s Muda wa majibu (jumla) 1873.00s Muda wa majibu (upeo) 569.97s Muda umeisha: 11 Hakuna jibu: 3 Jibu lisilo sahihi: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.2 Mbinu za kupinga AI : 5.1 Uandishi wa msimbo : 2.9 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 3.6 Mahususi kwa domeni : 3.6 Akili ya jumla : 2.8 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#435#435	Gemini 3 Flash Previewhigh	1.8	Google	$0.105	52.45s
Tazama kadi ya modeli Jumla ya majaribio 1 Majaribio yenye makosa 0 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 4.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 134,050 Tokeni za matokeo 1,029 Tokeni za hoja 11,528 Muda wa majibu (wastani) 52.45s Muda wa majibu (jumla) 52.45s Muda wa majibu (upeo) 52.45s Kazi za mawakala : 10.0 Mbinu za kupinga AI : 0.0 Uandishi wa msimbo : 0.0 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 0.0 Mahususi kwa domeni : 0.0 Akili ya jumla : 0.0 Ufuataji wa maagizo : 0.0 Utatuzi wa mafumbo : 0.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#319#319	Step 3.5 Flashmedium	5.4	Stepfun	$0.105	190.48s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 49.3% Majaribio yasiyo thabiti 3 Tokeni za ingizo 139,086 Tokeni za matokeo 193,584 Tokeni za hoja 413,546 Muda wa majibu (wastani) 190.48s Muda wa majibu (jumla) 3238.23s Muda wa majibu (upeo) 1597.85s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 3 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 2.8 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 2.4 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.3 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#327#327	Qwen3.6 35B A3Bnone	5.3	Qwen	$0.105 ↑	8.43s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 6 Tokeni za ingizo 272,479 Tokeni za matokeo 40,677 Tokeni za hoja 23,104 Muda wa majibu (wastani) 8.43s Muda wa majibu (jumla) 176.93s Muda wa majibu (upeo) 65.61s Jibu lisilo sahihi: 13 Hitilafu ya API: 2 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.2 Mbinu za kupinga AI : 3.6 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.4 Ufuataji wa maagizo : 6.2 Utatuzi wa mafumbo : 3.2 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#244#244	LongCat 2.0none	6.4	Meituan	$0.104	8.50s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 3 Tokeni za ingizo 276,199 Tokeni za matokeo 17,473 Tokeni za hoja 0 Muda wa majibu (wastani) 8.50s Muda wa majibu (jumla) 195.60s Muda wa majibu (upeo) 81.77s Jibu lisilo sahihi: 13 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 4.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#291#291	Ring 2.6 1tmedium	5.7	Inclusionai	$0.102 ↑	65.52s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 56.5% Majaribio yasiyo thabiti 3 Tokeni za ingizo 113,613 Tokeni za matokeo 122,706 Tokeni za hoja 42,325 Muda wa majibu (wastani) 65.52s Muda wa majibu (jumla) 1376.01s Muda wa majibu (upeo) 304.19s Jibu lisilo sahihi: 6 Hitilafu ya API: 3 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.3 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.6 Akili ya jumla : 4.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#157#157	Gemma 4 26B A4Bmedium	7.3	Google	$0.101 ↓	105.03s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 7 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 71.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 224,367 Tokeni za matokeo 27,095 Tokeni za hoja 242,256 Muda wa majibu (wastani) 105.03s Muda wa majibu (jumla) 2310.63s Muda wa majibu (upeo) 912.19s Hakuna jibu: 2 Muda umeisha: 2 Jibu lisilo sahihi: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 2.9 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#206#206	Solar Pro 4low	6.7	Upstage	$0.101 ↑	145.21s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 7 Tokeni za ingizo 384,974 Tokeni za matokeo 13,946 Tokeni za hoja 371,916 Muda wa majibu (wastani) 145.21s Muda wa majibu (jumla) 3339.87s Muda wa majibu (upeo) 640.89s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.0 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#235#235	Solar Pro 4medium	6.4	Upstage	$0.098 ↑	133.93s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 5 Tokeni za ingizo 299,558 Tokeni za matokeo 33,248 Tokeni za hoja 374,819 Muda wa majibu (wastani) 133.93s Muda wa majibu (jumla) 3080.36s Muda wa majibu (upeo) 519.91s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakuna jibu: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#340#340	Laguna S 2.1medium	5.0	Poolside	$0.092 ↑	63.06s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 24.6% Majaribio yasiyo thabiti 4 Tokeni za ingizo 230,291 Tokeni za matokeo 99,030 Tokeni za hoja 287,794 Muda wa majibu (wastani) 63.06s Muda wa majibu (jumla) 1450.31s Muda wa majibu (upeo) 560.31s Jibu lisilo sahihi: 14 Mwito wa zana si sahihi: 2 Hakuna jibu: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 3.4 Mbinu za kupinga AI : 3.4 Uandishi wa msimbo : 5.3 Mchanganyiko : 3.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.6 Ufuataji wa maagizo : 4.2 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#263#263	Gemini 3.1 Flash Lite Previewnone	6.2	Google	$0.090	3.60s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 55.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 261,962 Tokeni za matokeo 12,799 Tokeni za hoja 2,961 Muda wa majibu (wastani) 3.60s Muda wa majibu (jumla) 82.91s Muda wa majibu (upeo) 48.59s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 2 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#205#205	Qwen3.5-Flashnone	6.7	Qwen	$0.089	26.52s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 2 Tokeni za ingizo 463,872 Tokeni za matokeo 219,122 Tokeni za hoja 0 Muda wa majibu (wastani) 26.52s Muda wa majibu (jumla) 609.94s Muda wa majibu (upeo) 480.96s Jibu lisilo sahihi: 14 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 3.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#142#142	Qwen3.8 27Blow	7.6	Qwen	~$0.089	46.60s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 315,290 Tokeni za matokeo 1,607 Tokeni za hoja 207,536 Muda wa majibu (wastani) 46.60s Muda wa majibu (jumla) 1071.83s Muda wa majibu (upeo) 376.04s Jibu lisilo sahihi: 5 Hakuna jibu: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 7.7 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#52#52	GLM 5.3 Flashmax	9.0	Z.ai	$0.089	54.04s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 82.6% Majaribio yasiyo thabiti 3 Tokeni za ingizo 255,743 Tokeni za matokeo 8,684 Tokeni za hoja 207,435 Muda wa majibu (wastani) 54.04s Muda wa majibu (jumla) 1242.97s Muda wa majibu (upeo) 333.47s Jibu lisilo sahihi: 2 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#91#91	Claude Haiku 5.5high	8.3	Anthropic	$0.088	10.41s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 76.8% Majaribio yasiyo thabiti 4 Tokeni za ingizo 346,451 Tokeni za matokeo 10,136 Tokeni za hoja 95,504 Muda wa majibu (wastani) 10.41s Muda wa majibu (jumla) 239.38s Muda wa majibu (upeo) 52.61s Jibu lisilo sahihi: 4 Muundo wa ziada: 2 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.1 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#402#402	Grok 4.20 Betadefault	3.6	X AI	$0.087 ↓	1.19s
Tazama kadi ya modeli Jumla ya majaribio 18 Majaribio yenye makosa 12 Uaminifu Haipo Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 40,597 Tokeni za matokeo 1,657 Tokeni za hoja 0 Muda wa majibu (wastani) 1.19s Muda wa majibu (jumla) 21.43s Muda wa majibu (upeo) 6.48s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 1.8 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 0.0
#231#231	Laguna XS 2.1medium	6.4	Poolside	$0.083	48.97s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 46.4% Majaribio yasiyo thabiti 3 Tokeni za ingizo 352,516 Tokeni za matokeo 33,786 Tokeni za hoja 504,506 Muda wa majibu (wastani) 48.97s Muda wa majibu (jumla) 1126.35s Muda wa majibu (upeo) 422.72s Jibu lisilo sahihi: 10 Mwito wa zana si sahihi: 2 Hakuna jibu: 2 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 5.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#155#155	DeepSeek V4 Pro 0423none	7.4	DeepSeek	$0.083 ↓	14.05s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 49.3% Majaribio yasiyo thabiti 4 Tokeni za ingizo 304,186 Tokeni za matokeo 40,118 Tokeni za hoja 5,886 Muda wa majibu (wastani) 14.05s Muda wa majibu (jumla) 323.17s Muda wa majibu (upeo) 119.44s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 3.2 Uandishi wa msimbo : 5.6 Mchanganyiko : 7.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#306#306	Nemotron 3 Supermedium	5.5	NVIDIA	$0.081 ↑	56.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 229,346 Tokeni za matokeo 18,597 Tokeni za hoja 129,338 Muda wa majibu (wastani) 56.40s Muda wa majibu (jumla) 1184.46s Muda wa majibu (upeo) 431.98s Jibu lisilo sahihi: 6 Hitilafu ya API: 4 Hakufuata maelekezo: 3 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.1 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.1 Ufuataji wa maagizo : 7.3 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#280#280	Gemini 3.1 Flash Liteminimal	5.9	Google	$0.080	3.95s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 49.3% Majaribio yasiyo thabiti 3 Tokeni za ingizo 238,785 Tokeni za matokeo 12,875 Tokeni za hoja 0 Muda wa majibu (wastani) 3.95s Muda wa majibu (jumla) 90.76s Muda wa majibu (upeo) 50.03s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 3 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#414#414	Command A+high	3.2	Cohere	$0.079	89.96s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 23 Uaminifu 3.5 Kiwango cha kupita kwa kila jaribio 0.0% Majaribio yasiyo thabiti 0 Tokeni za ingizo 117,966 Tokeni za matokeo 5,149 Tokeni za hoja 23,514 Muda wa majibu (wastani) 89.96s Muda wa majibu (jumla) 2069.01s Muda wa majibu (upeo) 156.00s Hitilafu ya API: 22 Jibu lisilo sahihi: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 3.0 Uandishi wa msimbo : 3.0 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.0 Ufuataji wa maagizo : 3.0 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#250#250	Solar Pro 4high	6.3	Upstage	$0.077 ↑	128.91s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 6 Tokeni za ingizo 209,002 Tokeni za matokeo 24,675 Tokeni za hoja 377,528 Muda wa majibu (wastani) 128.91s Muda wa majibu (jumla) 2965.04s Muda wa majibu (upeo) 491.07s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 3 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakuna jibu: 1 Kazi za mawakala : 2.8 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 5.7 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.5 Ufuataji wa maagizo : 7.9 Utatuzi wa mafumbo : 8.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#331#331	KAT Coder AIR V2.5high	5.2	Kwaipilot	$0.077	15.23s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 16 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 40.6% Majaribio yasiyo thabiti 5 Tokeni za ingizo 50,423 Tokeni za matokeo 4,144 Tokeni za hoja 110,510 Muda wa majibu (wastani) 15.23s Muda wa majibu (jumla) 350.26s Muda wa majibu (upeo) 118.35s Jibu lisilo sahihi: 9 Hitilafu ya API: 4 Muundo wa ziada: 3 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 4.3 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 3.5 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow