Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#138#138	Muse Glimmer 30Bmedium	7.7	Meta	$0.288 ↓	33.97s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 269,497 Tokeni za matokeo 34,935 Tokeni za hoja 145,752 Muda wa majibu (wastani) 33.97s Muda wa majibu (jumla) 781.36s Muda wa majibu (upeo) 181.08s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 8.4 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.7 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#141#141	GPT-6 Lunalow	7.6	OpenAI	$0.033	23.23s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 4 Tokeni za ingizo 195,928 Tokeni za matokeo 5,728 Tokeni za hoja 19,152 Muda wa majibu (wastani) 23.23s Muda wa majibu (jumla) 534.22s Muda wa majibu (upeo) 89.37s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 6.0 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.4 Ufuataji wa maagizo : 7.1 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#145#145	Seed-2.0-Minimedium	7.5	Bytedance Seed	$0.140	91.67s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.4 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 3 Tokeni za ingizo 313,368 Tokeni za matokeo 12,289 Tokeni za hoja 259,270 Muda wa majibu (wastani) 91.67s Muda wa majibu (jumla) 1833.43s Muda wa majibu (upeo) 301.78s Jibu lisilo sahihi: 5 Muda umeisha: 4 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.6 Uandishi wa msimbo : 5.5 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#146#146	Mistral Large 4high	7.5	Mistral	$1.391	263.69s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 230,895 Tokeni za matokeo 161,281 Tokeni za hoja 510,655 Muda wa majibu (wastani) 263.69s Muda wa majibu (jumla) 6064.89s Muda wa majibu (upeo) 1727.29s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Hakuna jibu: 2 Muda umeisha: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.3 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 10.0 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 5.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#147#147	Seed-2.0-Codehigh	7.5	Bytedance Seed	$1.448	124.87s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 5 Tokeni za ingizo 297,321 Tokeni za matokeo 8,997 Tokeni za hoja 423,853 Muda wa majibu (wastani) 124.87s Muda wa majibu (jumla) 2871.96s Muda wa majibu (upeo) 675.30s Jibu lisilo sahihi: 6 Hitilafu ya API: 3 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 6.2 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 4.6 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#171#171	LongCat 2.0medium	7.2	Meituan	$0.767 ↑	144.88s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 3 Tokeni za ingizo 287,669 Tokeni za matokeo 47,204 Tokeni za hoja 375,030 Muda wa majibu (wastani) 144.88s Muda wa majibu (jumla) 3332.19s Muda wa majibu (upeo) 939.52s Jibu lisilo sahihi: 8 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#175#175	Claude Opus 5none	7.1	Anthropic	$2.766	10.78s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 55.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 396,120 Tokeni za matokeo 31,386 Tokeni za hoja 0 Muda wa majibu (wastani) 10.78s Muda wa majibu (jumla) 247.96s Muda wa majibu (upeo) 79.61s Jibu lisilo sahihi: 7 Muundo wa ziada: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.4 Mbinu za kupinga AI : 5.5 Uandishi wa msimbo : 5.9 Mchanganyiko : 8.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#177#177	GLM 5.3 FlashXmedium	7.1	Z.ai	$0.114	7.37s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 69.6% Majaribio yasiyo thabiti 8 Tokeni za ingizo 205,100 Tokeni za matokeo 8,639 Tokeni za hoja 21,409 Muda wa majibu (wastani) 7.37s Muda wa majibu (jumla) 169.54s Muda wa majibu (upeo) 74.39s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 6.0 Mchanganyiko : 2.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 3.4 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#178#178	MiMo-V2.6-Flashlow	7.1	Xiaomi	$0.200	54.57s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 6 Tokeni za ingizo 256,428 Tokeni za matokeo 9,786 Tokeni za hoja 575,630 Muda wa majibu (wastani) 54.57s Muda wa majibu (jumla) 1255.15s Muda wa majibu (upeo) 345.18s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Hakuna jibu: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 8.4 Mchanganyiko : 6.6 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 8.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#179#179	MiMo-V2.5medium	7.1	Xiaomi	$0.130 ↓	49.20s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 69.6% Majaribio yasiyo thabiti 7 Tokeni za ingizo 259,664 Tokeni za matokeo 8,414 Tokeni za hoja 333,097 Muda wa majibu (wastani) 49.20s Muda wa majibu (jumla) 1131.69s Muda wa majibu (upeo) 316.27s Jibu lisilo sahihi: 5 Muundo wa ziada: 2 Hakuna jibu: 2 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.2 Mchanganyiko : 8.7 Uchanganuzi na uchimbaji wa data : 2.7 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.4 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#191#191	Ember-1high	6.9	Fireworks	$2.405	58.14s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 8.6 Kiwango cha kupita kwa kila jaribio 71.0% Majaribio yasiyo thabiti 8 Tokeni za ingizo 195,489 Tokeni za matokeo 12,475 Tokeni za hoja 108,748 Muda wa majibu (wastani) 58.14s Muda wa majibu (jumla) 1337.19s Muda wa majibu (upeo) 255.06s Hitilafu ya API: 7 Jibu lisilo sahihi: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 8.2 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 7.1 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#196#196	Kimi K2.6medium	6.8	Moonshot AI	$1.594 ↑	121.25s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 4 Tokeni za ingizo 226,880 Tokeni za matokeo 65,346 Tokeni za hoja 331,325 Muda wa majibu (wastani) 121.25s Muda wa majibu (jumla) 2667.55s Muda wa majibu (upeo) 876.20s Jibu lisilo sahihi: 4 Muda umeisha: 3 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.0 Uandishi wa msimbo : 5.7 Mchanganyiko : 6.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#197#197	Qwen3.5-Flashmedium	6.8	Qwen	$0.184	83.68s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 6 Tokeni za ingizo 349,177 Tokeni za matokeo 54,279 Tokeni za hoja 477,389 Muda wa majibu (wastani) 83.68s Muda wa majibu (jumla) 1840.92s Muda wa majibu (upeo) 515.38s Jibu lisilo sahihi: 5 Muda umeisha: 3 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 3.7 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#202#202	Solar Pro 4xhigh	6.7	Upstage	$0.067	142.76s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 58.0% Majaribio yasiyo thabiti 2 Tokeni za ingizo 150,033 Tokeni za matokeo 22,347 Tokeni za hoja 402,143 Muda wa majibu (wastani) 142.76s Muda wa majibu (jumla) 3283.43s Muda wa majibu (upeo) 491.42s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 3 Hakuna jibu: 2 Muundo wa ziada: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.8 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 8.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#211#211	GPT-5.6 Solnone	6.7	OpenAI	$0.795	4.61s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 3 Tokeni za ingizo 207,852 Tokeni za matokeo 5,555 Tokeni za hoja 0 Muda wa majibu (wastani) 4.61s Muda wa majibu (jumla) 105.93s Muda wa majibu (upeo) 58.28s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 8.5 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#214#214	GPT-5.5none	6.6	OpenAI	$1.212	4.75s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 56.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 205,108 Tokeni za matokeo 6,197 Tokeni za hoja 0 Muda wa majibu (wastani) 4.75s Muda wa majibu (jumla) 109.31s Muda wa majibu (upeo) 57.53s Jibu lisilo sahihi: 11 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.2 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#223#223	Qwen3.6 35B A3Bmedium	6.5	Qwen	$0.834 ↑	59.92s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 58.0% Majaribio yasiyo thabiti 3 Tokeni za ingizo 282,192 Tokeni za matokeo 75,306 Tokeni za hoja 700,868 Muda wa majibu (wastani) 59.92s Muda wa majibu (jumla) 1258.32s Muda wa majibu (upeo) 817.57s Jibu lisilo sahihi: 6 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 7.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.4 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#224#224	Mercury 2.5 Previewhigh	6.5	Inception	$0.040 ↑	7.61s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 298,512 Tokeni za matokeo 3,178 Tokeni za hoja 177,419 Muda wa majibu (wastani) 7.61s Muda wa majibu (jumla) 175.08s Muda wa majibu (upeo) 86.84s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.7 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#225#225	Mercury 2.5high	6.5	Inception	$0.044	7.62s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 4 Tokeni za ingizo 358,562 Tokeni za matokeo 4,266 Tokeni za hoja 189,410 Muda wa majibu (wastani) 7.62s Muda wa majibu (jumla) 175.36s Muda wa majibu (upeo) 80.30s Jibu lisilo sahihi: 9 Hitilafu ya API: 1 Hakuna jibu: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.4 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 8.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#226#226	Beam 1.0 501B A23Bxhigh	6.5	Reflection	$0.688	9.18s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 212,065 Tokeni za matokeo 4,428 Tokeni za hoja 154,069 Muda wa majibu (wastani) 9.18s Muda wa majibu (jumla) 211.12s Muda wa majibu (upeo) 44.64s Jibu lisilo sahihi: 8 Hitilafu ya API: 3 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 10.0 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.8 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#227#227	GLM 5.3low	6.5	Z.ai	$0.215 ↓	15.18s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 247,871 Tokeni za matokeo 10,791 Tokeni za hoja 17,315 Muda wa majibu (wastani) 15.18s Muda wa majibu (jumla) 349.06s Muda wa majibu (upeo) 83.60s Jibu lisilo sahihi: 8 Mwito wa zana si sahihi: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 5.2 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 6.2 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#230#230	Grok 4.3medium	6.5	X AI	$0.989	44.53s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 325,471 Tokeni za matokeo 14,867 Tokeni za hoja 217,675 Muda wa majibu (wastani) 44.53s Muda wa majibu (jumla) 1024.25s Muda wa majibu (upeo) 216.69s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.9 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 5.4 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#234#234	Beam 1.0 501B A23Bmax	6.4	Reflection	$0.799	11.10s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 56.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 199,105 Tokeni za matokeo 4,274 Tokeni za hoja 195,495 Muda wa majibu (wastani) 11.10s Muda wa majibu (jumla) 255.26s Muda wa majibu (upeo) 54.48s Jibu lisilo sahihi: 6 Hitilafu ya API: 3 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#235#235	Solar Pro 4medium	6.4	Upstage	$0.098 ↑	133.93s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 5 Tokeni za ingizo 299,558 Tokeni za matokeo 33,248 Tokeni za hoja 374,819 Muda wa majibu (wastani) 133.93s Muda wa majibu (jumla) 3080.36s Muda wa majibu (upeo) 519.91s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakuna jibu: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#239#239	Mercury 2.5medium	6.4	Inception	$0.034	7.74s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 317,982 Tokeni za matokeo 3,918 Tokeni za hoja 135,028 Muda wa majibu (wastani) 7.74s Muda wa majibu (jumla) 178.07s Muda wa majibu (upeo) 107.89s Jibu lisilo sahihi: 9 Hitilafu ya API: 1 Muda umeisha: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.0 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 4.4 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow