Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-19 Modeli zilizotathminiwa: 451

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

451/451

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#304#304	Mistral Large 4none	5.7	Mistral	$0.290	20.43s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 17 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 31.9% Majaribio yasiyo thabiti 2 Tokeni za ingizo 257,872 Tokeni za matokeo 54,388 Tokeni za hoja 0 Muda wa majibu (wastani) 20.43s Muda wa majibu (jumla) 469.88s Muda wa majibu (upeo) 192.80s Jibu lisilo sahihi: 15 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 3.6 Uandishi wa msimbo : 4.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.3 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 7.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#311#311	Step 5 Previewlow	5.6	Stepfun	$4.110	138.27s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 58.0% Majaribio yasiyo thabiti 7 Tokeni za ingizo 261,256 Tokeni za matokeo 1,425,268 Tokeni za hoja 0 Muda wa majibu (wastani) 138.27s Muda wa majibu (jumla) 3180.10s Muda wa majibu (upeo) 436.56s Hakuna jibu: 7 Hitilafu ya API: 2 Jibu lisilo sahihi: 2 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.4 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 2.7 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 3.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#314#314	Nemotron 3.5 Super VLnone	5.5	NVIDIA	$0.040	46.97s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 4 Tokeni za ingizo 251,253 Tokeni za matokeo 3,892 Tokeni za hoja 0 Muda wa majibu (wastani) 46.97s Muda wa majibu (jumla) 1080.29s Muda wa majibu (upeo) 872.07s Jibu lisilo sahihi: 11 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 3.6 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 4.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#343#343	Mistral Small 4medium	5.1	Mistral	$0.126 ↑	12.68s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 8 Tokeni za ingizo 321,955 Tokeni za matokeo 41,555 Tokeni za hoja 94,946 Muda wa majibu (wastani) 12.68s Muda wa majibu (jumla) 291.66s Muda wa majibu (upeo) 59.15s Jibu lisilo sahihi: 14 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 5.6 Uandishi wa msimbo : 4.4 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.9 Akili ya jumla : 4.8 Ufuataji wa maagizo : 7.3 Utatuzi wa mafumbo : 3.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#5#5	GPT-6 Astramax	9.9	OpenAI	$5.044	61.63s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 1 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 95.7% Majaribio yasiyo thabiti 0 Tokeni za ingizo 181,223 Tokeni za matokeo 5,707 Tokeni za hoja 58,909 Muda wa majibu (wastani) 61.63s Muda wa majibu (jumla) 1417.51s Muda wa majibu (upeo) 960.01s Muda umeisha: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 10.0
#45#45	Muse Spark Openxhigh	9.0	Meta	$2.081	92.38s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 7 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 81.2% Majaribio yasiyo thabiti 5 Tokeni za ingizo 271,242 Tokeni za matokeo 11,803 Tokeni za hoja 397,838 Muda wa majibu (wastani) 92.38s Muda wa majibu (jumla) 2124.67s Muda wa majibu (upeo) 482.30s Hitilafu ya API: 2 Jibu lisilo sahihi: 2 Muundo wa ziada: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#64#64	DeepSeek V4.1 Flashmedium	8.7	DeepSeek	$0.591 ↑	32.88s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 7 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 73.9% Majaribio yasiyo thabiti 2 Tokeni za ingizo 280,643 Tokeni za matokeo 7,342 Tokeni za hoja 437,323 Muda wa majibu (wastani) 32.88s Muda wa majibu (jumla) 756.34s Muda wa majibu (upeo) 276.31s Jibu lisilo sahihi: 5 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#83#83	Qwen3.8 2.4T A95Blow	8.4	Qwen	$4.016 ↑	120.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 7 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 73.9% Majaribio yasiyo thabiti 2 Tokeni za ingizo 313,881 Tokeni za matokeo 123,706 Tokeni za hoja 388,328 Muda wa majibu (wastani) 120.40s Muda wa majibu (jumla) 2769.16s Muda wa majibu (upeo) 534.21s Jibu lisilo sahihi: 5 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 7.8 Mchanganyiko : 8.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.2 Akili ya jumla : 6.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#97#97	Ling 3.1 Flashmedium	8.3	Inclusionai	$0.000	88.74s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 71.0% Majaribio yasiyo thabiti 3 Tokeni za ingizo 369,495 Tokeni za matokeo 172,852 Tokeni za hoja 476,002 Muda wa majibu (wastani) 88.74s Muda wa majibu (jumla) 2041.10s Muda wa majibu (upeo) 567.88s Hakuna jibu: 4 Jibu lisilo sahihi: 3 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 6.6 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.3 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 2.8 Maarifa ya jumla : 3.0
#102#102	GLM 5.2medium	8.2	Z.ai	$1.007 ↑	26.88s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 6 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 81.2% Majaribio yasiyo thabiti 4 Tokeni za ingizo 227,164 Tokeni za matokeo 20,029 Tokeni za hoja 60,991 Muda wa majibu (wastani) 26.88s Muda wa majibu (jumla) 591.34s Muda wa majibu (upeo) 102.40s Jibu lisilo sahihi: 3 Hakuna jibu: 2 Muda umeisha: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 8.2 Mchanganyiko : 5.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.1 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#109#109	DeepSeek V4.1 Flashlow	8.0	DeepSeek	$0.494 ↑	28.04s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 73.9% Majaribio yasiyo thabiti 4 Tokeni za ingizo 266,849 Tokeni za matokeo 8,284 Tokeni za hoja 363,263 Muda wa majibu (wastani) 28.04s Muda wa majibu (jumla) 645.03s Muda wa majibu (upeo) 149.84s Jibu lisilo sahihi: 7 Hitilafu ya API: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.5 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#122#122	Qwen3.8 2.4T A95Bhigh	7.9	Qwen	$2.949 ↑	120.88s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 75.4% Majaribio yasiyo thabiti 4 Tokeni za ingizo 295,642 Tokeni za matokeo 115,041 Tokeni za hoja 353,398 Muda wa majibu (wastani) 120.88s Muda wa majibu (jumla) 2780.16s Muda wa majibu (upeo) 532.28s Jibu lisilo sahihi: 4 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.9 Mchanganyiko : 6.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.1 Akili ya jumla : 6.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#212#212	Grok 4.7high	6.7	X AI	$3.037	122.19s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 10 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 72.5% Majaribio yasiyo thabiti 7 Tokeni za ingizo 329,276 Tokeni za matokeo 8,172 Tokeni za hoja 479,012 Muda wa majibu (wastani) 122.19s Muda wa majibu (jumla) 2810.40s Muda wa majibu (upeo) 573.57s Hakuna jibu: 3 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 2 Jibu lisilo sahihi: 2 Hitilafu ya API: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 6.0 Mchanganyiko : 8.6 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.1 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#244#244	Kimi K2.5medium	6.4	Moonshot AI	$0.841 ↑	125.76s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 8 Tokeni za ingizo 292,271 Tokeni za matokeo 55,025 Tokeni za hoja 186,071 Muda wa majibu (wastani) 125.76s Muda wa majibu (jumla) 2137.84s Muda wa majibu (upeo) 566.79s Jibu lisilo sahihi: 5 Muda umeisha: 3 Hakufuata maelekezo: 2 Hakuna jibu: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 6.1 Mchanganyiko : 6.7 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#279#279	Step 5 Previewmedium	6.1	Stepfun	$4.136	136.10s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 53.6% Majaribio yasiyo thabiti 5 Tokeni za ingizo 261,842 Tokeni za matokeo 1,434,621 Tokeni za hoja 0 Muda wa majibu (wastani) 136.10s Muda wa majibu (jumla) 3130.27s Muda wa majibu (upeo) 438.09s Hakuna jibu: 6 Jibu lisilo sahihi: 3 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 6.4 Uandishi wa msimbo : 2.8 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 3.4 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#339#339	Nemotron 3.5 Lightninghigh	5.2	NVIDIA	$0.168 ↕	77.08s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 12 Tokeni za ingizo 170,517 Tokeni za matokeo 149,968 Tokeni za hoja 509,725 Muda wa majibu (wastani) 77.08s Muda wa majibu (jumla) 1772.78s Muda wa majibu (upeo) 490.99s Jibu lisilo sahihi: 11 Hakufuata maelekezo: 4 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 3.5 Mbinu za kupinga AI : 5.5 Uandishi wa msimbo : 4.4 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 3.7 Ufuataji wa maagizo : 8.5 Utatuzi wa mafumbo : 3.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#341#341	Mimo V2 PROmedium	5.2	Xiaomi	$0.333 ↑	22.16s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 9 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 5 Tokeni za ingizo 40,961 Tokeni za matokeo 2,518 Tokeni za hoja 81,801 Muda wa majibu (wastani) 22.16s Muda wa majibu (jumla) 443.22s Muda wa majibu (upeo) 136.29s Jibu lisilo sahihi: 5 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Muda umeisha: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.0 Mchanganyiko : 2.3 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 6.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#346#346	KAT Coder AIR V2.5medium	5.1	Kwaipilot	$0.048	8.32s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 3 Tokeni za ingizo 51,369 Tokeni za matokeo 8,008 Tokeni za hoja 58,568 Muda wa majibu (wastani) 8.32s Muda wa majibu (jumla) 191.40s Muda wa majibu (upeo) 48.19s Jibu lisilo sahihi: 10 Hitilafu ya API: 2 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Muda umeisha: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 3.6 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 3.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#382#382	Ling 2.6 Flashdefault	4.5	Inclusionai	$0.002 ↑	10.21s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 17 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 2 Tokeni za ingizo 114,384 Tokeni za matokeo 14,903 Tokeni za hoja 0 Muda wa majibu (wastani) 10.21s Muda wa majibu (jumla) 214.31s Muda wa majibu (upeo) 36.03s Jibu lisilo sahihi: 9 Hitilafu ya API: 3 Mwito wa zana si sahihi: 3 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 6.8 Uandishi wa msimbo : 5.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 2.9 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#409#409	Ling 3.0 Tinylow	3.7	Inclusionai	$0.000	63.15s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 18.8% Majaribio yasiyo thabiti 1 Tokeni za ingizo 99,662 Tokeni za matokeo 146,555 Tokeni za hoja 732,977 Muda wa majibu (wastani) 63.15s Muda wa majibu (jumla) 1389.35s Muda wa majibu (upeo) 252.08s Hakuna jibu: 7 Jibu lisilo sahihi: 5 Hakufuata maelekezo: 4 Hitilafu ya API: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 2.9 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 2.8 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.1 Ufuataji wa maagizo : 6.6 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#410#410	Ling 3.0 Tinymedium	3.6	Inclusionai	$0.000	64.99s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 23.2% Majaribio yasiyo thabiti 3 Tokeni za ingizo 103,898 Tokeni za matokeo 148,304 Tokeni za hoja 774,972 Muda wa majibu (wastani) 64.99s Muda wa majibu (jumla) 1429.68s Muda wa majibu (upeo) 262.20s Hakuna jibu: 7 Jibu lisilo sahihi: 5 Hakufuata maelekezo: 4 Hitilafu ya API: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 2.9 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 2.7 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.8 Ufuataji wa maagizo : 6.8 Utatuzi wa mafumbo : 3.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#68#68	MiMo-V2.6-Promedium	8.7	Xiaomi	$0.586	148.11s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 9 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 78.3% Majaribio yasiyo thabiti 7 Tokeni za ingizo 298,476 Tokeni za matokeo 7,762 Tokeni za hoja 515,918 Muda wa majibu (wastani) 148.11s Muda wa majibu (jumla) 3406.53s Muda wa majibu (upeo) 904.91s Muundo wa ziada: 3 Jibu lisilo sahihi: 3 Hakufuata maelekezo: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 8.2 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 8.4 Mwito wa zana : 10.0 Maarifa ya jumla : 2.8
#189#189	Step 5 Previewhigh	7.0	Stepfun	$4.513	154.41s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 52.2% Majaribio yasiyo thabiti 4 Tokeni za ingizo 243,381 Tokeni za matokeo 1,581,325 Tokeni za hoja 0 Muda wa majibu (wastani) 154.41s Muda wa majibu (jumla) 3551.40s Muda wa majibu (upeo) 455.72s Hakuna jibu: 7 Jibu lisilo sahihi: 3 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 2.9 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.4 Ufuataji wa maagizo : 7.3 Utatuzi wa mafumbo : 5.8 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#315#315	Nemotron 3 Supermedium	5.5	NVIDIA	$0.081 ↑	56.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 229,346 Tokeni za matokeo 18,597 Tokeni za hoja 129,338 Muda wa majibu (wastani) 56.40s Muda wa majibu (jumla) 1184.46s Muda wa majibu (upeo) 431.98s Jibu lisilo sahihi: 6 Hitilafu ya API: 4 Hakufuata maelekezo: 3 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.1 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.1 Ufuataji wa maagizo : 7.3 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#378#378	Nemotron 3.5 Lightninglow	4.6	NVIDIA	$0.175 ↕	83.19s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 40.6% Majaribio yasiyo thabiti 9 Tokeni za ingizo 207,883 Tokeni za matokeo 144,718 Tokeni za hoja 525,897 Muda wa majibu (wastani) 83.19s Muda wa majibu (jumla) 1913.41s Muda wa majibu (upeo) 597.61s Jibu lisilo sahihi: 14 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 3.5 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 4.0 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 2.9 Mahususi kwa domeni : 3.6 Akili ya jumla : 3.7 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 3.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow