Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#211#211	GPT-5.6 Solnone	6.7	OpenAI	$0.795	4.61s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 3 Tokeni za ingizo 207,852 Tokeni za matokeo 5,555 Tokeni za hoja 0 Muda wa majibu (wastani) 4.61s Muda wa majibu (jumla) 105.93s Muda wa majibu (upeo) 58.28s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 8.5 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#292#292	Trinity Large Thinkinghigh	5.7	Arcee AI	$0.794 ↑	74.52s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 17 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 8 Tokeni za ingizo 283,116 Tokeni za matokeo 277,920 Tokeni za hoja 665,124 Muda wa majibu (wastani) 74.52s Muda wa majibu (jumla) 1713.90s Muda wa majibu (upeo) 510.21s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 4 Mwito wa zana si sahihi: 2 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.7 Uandishi wa msimbo : 3.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 4.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#320#320	Ember-1none	5.4	Fireworks	$0.786	22.65s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 8.8 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 4 Tokeni za ingizo 202,617 Tokeni za matokeo 11,832 Tokeni za hoja 0 Muda wa majibu (wastani) 22.65s Muda wa majibu (jumla) 520.91s Muda wa majibu (upeo) 93.12s Jibu lisilo sahihi: 10 Hitilafu ya API: 5 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 5.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.4 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#149#149	Qwen3.6 Flashmedium	7.4	Qwen	$0.783 ↓	45.45s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 5 Tokeni za ingizo 258,760 Tokeni za matokeo 22,221 Tokeni za hoja 630,059 Muda wa majibu (wastani) 45.45s Muda wa majibu (jumla) 1045.45s Muda wa majibu (upeo) 578.13s Jibu lisilo sahihi: 8 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.0 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.8 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#187#187	Grok 4.6low	6.9	X AI	$0.781	16.44s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 66.7% Majaribio yasiyo thabiti 1 Tokeni za ingizo 263,427 Tokeni za matokeo 6,006 Tokeni za hoja 36,309 Muda wa majibu (wastani) 16.44s Muda wa majibu (jumla) 378.14s Muda wa majibu (upeo) 57.97s Jibu lisilo sahihi: 8 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#162#162	LongCat 2.0high	7.3	Meituan	$0.778 ↑	151.67s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 53.6% Majaribio yasiyo thabiti 4 Tokeni za ingizo 275,080 Tokeni za matokeo 32,447 Tokeni za hoja 372,188 Muda wa majibu (wastani) 151.67s Muda wa majibu (jumla) 3488.43s Muda wa majibu (upeo) 941.66s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 2 Hakuna jibu: 2 Muda umeisha: 2 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.9 Uandishi wa msimbo : 7.8 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 3.6 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.1 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#111#111	Gemini 3.8 Flashmedium	8.0	Google	$0.769	16.64s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 4 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 89.9% Majaribio yasiyo thabiti 3 Tokeni za ingizo 187,331 Tokeni za matokeo 7,555 Tokeni za hoja 159,931 Muda wa majibu (wastani) 16.64s Muda wa majibu (jumla) 382.64s Muda wa majibu (upeo) 108.60s Jibu lisilo sahihi: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 2.8 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 8.0 Mchanganyiko : 8.7 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 8.2 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 10.0
#171#171	LongCat 2.0medium	7.2	Meituan	$0.767 ↑	144.88s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 3 Tokeni za ingizo 287,669 Tokeni za matokeo 47,204 Tokeni za hoja 375,030 Muda wa majibu (wastani) 144.88s Muda wa majibu (jumla) 3332.19s Muda wa majibu (upeo) 939.52s Jibu lisilo sahihi: 8 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#12#12	GPT-6.1 Solhigh	9.6	OpenAI	$0.755	15.46s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 2 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 94.2% Majaribio yasiyo thabiti 1 Tokeni za ingizo 174,960 Tokeni za matokeo 5,780 Tokeni za hoja 34,728 Muda wa majibu (wastani) 15.46s Muda wa majibu (jumla) 355.66s Muda wa majibu (upeo) 139.76s Jibu lisilo sahihi: 2 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 4.7
#45#45	Gemini 3.5 Flashlow	9.0	Google	$0.752	7.85s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 4 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 85.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 244,533 Tokeni za matokeo 3,450 Tokeni za hoja 39,280 Muda wa majibu (wastani) 7.85s Muda wa majibu (jumla) 180.45s Muda wa majibu (upeo) 53.74s Jibu lisilo sahihi: 3 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 7.8 Mchanganyiko : 8.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 10.0
#346#346	Grok 4.20 Betamedium	4.9	X AI	$0.750 ↑	9.75s
Tazama kadi ya modeli Jumla ya majaribio 18 Majaribio yenye makosa 4 Uaminifu Haipo Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 1 Tokeni za ingizo 35,955 Tokeni za matokeo 1,647 Tokeni za hoja 91,565 Muda wa majibu (wastani) 9.75s Muda wa majibu (jumla) 175.48s Muda wa majibu (upeo) 31.36s Jibu lisilo sahihi: 3 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 3.3 Mchanganyiko : 5.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 3.0 Maarifa ya jumla : 0.0
#273#273	KAT-Coder-Pro V2.5default	6.1	Kwaipilot	$0.742 ↑	24.96s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 8 Tokeni za ingizo 98,508 Tokeni za matokeo 8,088 Tokeni za hoja 131,484 Muda wa majibu (wastani) 24.96s Muda wa majibu (jumla) 574.12s Muda wa majibu (upeo) 335.41s Jibu lisilo sahihi: 10 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 6.1 Mchanganyiko : 4.1 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.1 Akili ya jumla : 4.8 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#248#248	Gemini 3.1 Flash Lite Previewlow	6.3	Google	$0.736	19.04s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 9 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 0 Tokeni za ingizo 309,715 Tokeni za matokeo 16,170 Tokeni za hoja 422,721 Muda wa majibu (wastani) 19.04s Muda wa majibu (jumla) 437.98s Muda wa majibu (upeo) 309.35s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#249#249	Gemini 3.1 Flash Litelow	6.3	Google	$0.717	19.02s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 2 Tokeni za ingizo 312,368 Tokeni za matokeo 9,429 Tokeni za hoja 416,147 Muda wa majibu (wastani) 19.02s Muda wa majibu (jumla) 437.38s Muda wa majibu (upeo) 318.02s Jibu lisilo sahihi: 9 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#245#245	Qwen3.5-35B-A3Bmedium	6.3	Qwen	$0.716 ↓	111.54s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 7 Tokeni za ingizo 378,048 Tokeni za matokeo 56,477 Tokeni za hoja 865,151 Muda wa majibu (wastani) 111.54s Muda wa majibu (jumla) 2565.38s Muda wa majibu (upeo) 950.25s Hakuna jibu: 3 Muda umeisha: 3 Jibu lisilo sahihi: 3 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 7.4 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.9 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 3.5 Akili ya jumla : 2.8 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#19#19	GPT-6 Solmedium	9.5	OpenAI	$0.703	12.12s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 2 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 94.2% Majaribio yasiyo thabiti 1 Tokeni za ingizo 194,520 Tokeni za matokeo 5,396 Tokeni za hoja 25,991 Muda wa majibu (wastani) 12.12s Muda wa majibu (jumla) 278.70s Muda wa majibu (upeo) 82.74s Jibu lisilo sahihi: 2 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 8.2 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 10.0
#90#90	GPT-5.6 Terrahigh	8.3	OpenAI	$0.698 ↓	13.62s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 69.6% Majaribio yasiyo thabiti 2 Tokeni za ingizo 197,239 Tokeni za matokeo 6,083 Tokeni za hoja 53,982 Muda wa majibu (wastani) 13.62s Muda wa majibu (jumla) 313.21s Muda wa majibu (upeo) 91.49s Jibu lisilo sahihi: 7 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 7.6 Mchanganyiko : 8.7 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#300#300	GPT-5.4none	5.6	OpenAI	$0.690	3.89s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 16 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 33.3% Majaribio yasiyo thabiti 2 Tokeni za ingizo 219,404 Tokeni za matokeo 9,372 Tokeni za hoja 0 Muda wa majibu (wastani) 3.89s Muda wa majibu (jumla) 89.48s Muda wa majibu (upeo) 43.73s Jibu lisilo sahihi: 15 Hakufuata maelekezo: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 3.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.4 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#226#226	Beam 1.0 501B A23Bxhigh	6.5	Reflection	$0.688	9.18s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 212,065 Tokeni za matokeo 4,428 Tokeni za hoja 154,069 Muda wa majibu (wastani) 9.18s Muda wa majibu (jumla) 211.12s Muda wa majibu (upeo) 44.64s Jibu lisilo sahihi: 8 Hitilafu ya API: 3 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 10.0 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.8 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#355#355	Mimo V2 Omnimedium	4.9	Xiaomi	$0.683 ↓	41.16s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 50.7% Majaribio yasiyo thabiti 3 Tokeni za ingizo 37,007 Tokeni za matokeo 1,952 Tokeni za hoja 357,306 Muda wa majibu (wastani) 41.16s Muda wa majibu (jumla) 823.26s Muda wa majibu (upeo) 299.23s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Hakuna jibu: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 3.3 Mchanganyiko : 5.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.4 Ufuataji wa maagizo : 8.3 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#161#161	Gemini 2.5 Flashmedium	7.3	Google	$0.680 ↑	20.51s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 132,507 Tokeni za matokeo 12,739 Tokeni za hoja 228,626 Muda wa majibu (wastani) 20.51s Muda wa majibu (jumla) 471.64s Muda wa majibu (upeo) 140.50s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.4 Uandishi wa msimbo : 7.8 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 4.8 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#109#109	Nemotron 3 Ultramedium	8.0	NVIDIA	$0.674 ↕	40.33s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 9 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 68.1% Majaribio yasiyo thabiti 3 Tokeni za ingizo 482,754 Tokeni za matokeo 62,455 Tokeni za hoja 141,067 Muda wa majibu (wastani) 40.33s Muda wa majibu (jumla) 927.65s Muda wa majibu (upeo) 392.56s Jibu lisilo sahihi: 7 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 8.4 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 3.7 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.5 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#266#266	Beam 1.0 501B A23Bhigh	6.1	Reflection	$0.674	9.03s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 59.4% Majaribio yasiyo thabiti 5 Tokeni za ingizo 232,218 Tokeni za matokeo 4,944 Tokeni za hoja 142,263 Muda wa majibu (wastani) 9.03s Muda wa majibu (jumla) 207.67s Muda wa majibu (upeo) 36.04s Jibu lisilo sahihi: 7 Hitilafu ya API: 3 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.8 Uandishi wa msimbo : 8.4 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#49#49	Gemini 4 Argonmedium	9.0	Google	$0.674	6.63s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 4 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 84.1% Majaribio yasiyo thabiti 1 Tokeni za ingizo 215,326 Tokeni za matokeo 6,668 Tokeni za hoja 17,615 Muda wa majibu (wastani) 6.63s Muda wa majibu (jumla) 152.50s Muda wa majibu (upeo) 62.49s Jibu lisilo sahihi: 4 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#260#260	KAT-Coder-Pro V2.5medium	6.2	Kwaipilot	$0.669 ↑	23.94s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 62.3% Majaribio yasiyo thabiti 8 Tokeni za ingizo 87,916 Tokeni za matokeo 7,213 Tokeni za hoja 132,162 Muda wa majibu (wastani) 23.94s Muda wa majibu (jumla) 550.52s Muda wa majibu (upeo) 257.00s Jibu lisilo sahihi: 9 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 7.8 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.7 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow