Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#141#141	GPT-6 Lunalow	7.6	OpenAI	$0.033	23.23s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 63.8% Majaribio yasiyo thabiti 4 Tokeni za ingizo 195,928 Tokeni za matokeo 5,728 Tokeni za hoja 19,152 Muda wa majibu (wastani) 23.23s Muda wa majibu (jumla) 534.22s Muda wa majibu (upeo) 89.37s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 6.0 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.4 Ufuataji wa maagizo : 7.1 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#298#298	Gemma 4 31Bnone	5.7	Google	$0.031 ↓	7.28s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 270,970 Tokeni za matokeo 15,499 Tokeni za hoja 0 Muda wa majibu (wastani) 7.28s Muda wa majibu (jumla) 152.84s Muda wa majibu (upeo) 44.73s Jibu lisilo sahihi: 11 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 6.5 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#311#311	Gemma 4 26B A4Bnone	5.5	Google	$0.031	10.55s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 280,126 Tokeni za matokeo 17,306 Tokeni za hoja 0 Muda wa majibu (wastani) 10.55s Muda wa majibu (jumla) 242.57s Muda wa majibu (upeo) 75.76s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 6.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#281#281	gpt-oss-120bmedium	5.9	OpenAI	$0.030 ↓	31.58s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 285,293 Tokeni za matokeo 29,565 Tokeni za hoja 89,266 Muda wa majibu (wastani) 31.58s Muda wa majibu (jumla) 536.78s Muda wa majibu (upeo) 203.90s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 3 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.7 Uandishi wa msimbo : 5.9 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.4 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#272#272	Granite 4.2 8Bmedium	6.1	IBM Granite	$0.029	50.47s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 8.9 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 1 Tokeni za ingizo 259,708 Tokeni za matokeo 16,567 Tokeni za hoja 33,580 Muda wa majibu (wastani) 50.47s Muda wa majibu (jumla) 1160.91s Muda wa majibu (upeo) 557.96s Jibu lisilo sahihi: 9 Muda umeisha: 4 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 8.4 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 3.8 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#286#286	Qwen3.7 Flashnone	5.9	Qwen	$0.028	14.70s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 16 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 36.2% Majaribio yasiyo thabiti 3 Tokeni za ingizo 410,787 Tokeni za matokeo 117,742 Tokeni za hoja 0 Muda wa majibu (wastani) 14.70s Muda wa majibu (jumla) 338.13s Muda wa majibu (upeo) 186.24s Jibu lisilo sahihi: 14 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 3.0 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 3.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#357#357	GLM 4.7 Flashnone	4.8	Z.ai	$0.027	13.04s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 3 Tokeni za ingizo 255,363 Tokeni za matokeo 27,395 Tokeni za hoja 0 Muda wa majibu (wastani) 13.04s Muda wa majibu (jumla) 221.61s Muda wa majibu (upeo) 97.15s Jibu lisilo sahihi: 15 Mwito wa zana si sahihi: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 5.2 Uandishi wa msimbo : 4.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 6.4 Mwito wa zana : 2.8 Maarifa ya jumla : 3.0
#388#388	Mercury 2.5none	4.1	Inception	$0.026	5.10s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 21 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 24.6% Majaribio yasiyo thabiti 7 Tokeni za ingizo 311,488 Tokeni za matokeo 89,958 Tokeni za hoja 0 Muda wa majibu (wastani) 5.10s Muda wa majibu (jumla) 117.24s Muda wa majibu (upeo) 63.41s Jibu lisilo sahihi: 15 Hakufuata maelekezo: 4 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 3.8 Uandishi wa msimbo : 3.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 2.8 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.3 Ufuataji wa maagizo : 4.9 Utatuzi wa mafumbo : 3.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#375#375	Ring 2.6 1tdefault	4.5	Inclusionai	$0.026 ↑	48.94s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 7,608 Tokeni za matokeo 17,529 Tokeni za hoja 34,499 Muda wa majibu (wastani) 48.94s Muda wa majibu (jumla) 831.92s Muda wa majibu (upeo) 143.82s Hitilafu ya API: 7 Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 5.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#310#310	GPT-6 Lunanone	5.5	OpenAI	$0.026	20.48s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 16 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 40.6% Majaribio yasiyo thabiti 5 Tokeni za ingizo 222,357 Tokeni za matokeo 6,855 Tokeni za hoja 0 Muda wa majibu (wastani) 20.48s Muda wa majibu (jumla) 470.96s Muda wa majibu (upeo) 98.62s Jibu lisilo sahihi: 13 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.1 Ufuataji wa maagizo : 6.2 Utatuzi wa mafumbo : 5.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#411#411	MiMo-V2-Flashdefault	3.3	Xiaomi	$0.025 ↑	2.76s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 17 Uaminifu 6.7 Kiwango cha kupita kwa kila jaribio 23.2% Majaribio yasiyo thabiti 4 Tokeni za ingizo 36,851 Tokeni za matokeo 68,882 Tokeni za hoja 0 Muda wa majibu (wastani) 2.76s Muda wa majibu (jumla) 46.99s Muda wa majibu (upeo) 19.68s Jibu lisilo sahihi: 13 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 3.2 Uandishi wa msimbo : 4.3 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 2.9 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.6 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#344#344	GPT-4o-minidefault	5.0	OpenAI	$0.024	4.16s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 21.7% Majaribio yasiyo thabiti 0 Tokeni za ingizo 145,180 Tokeni za matokeo 3,627 Tokeni za hoja 0 Muda wa majibu (wastani) 4.16s Muda wa majibu (jumla) 70.70s Muda wa majibu (upeo) 39.99s Jibu lisilo sahihi: 16 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 3.2 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 3.5 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#358#358	Mercury 2.5 Previewdefault	4.7	Inception	$0.023 ↑	7.05s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 5 Tokeni za ingizo 250,541 Tokeni za matokeo 86,367 Tokeni za hoja 0 Muda wa majibu (wastani) 7.05s Muda wa majibu (jumla) 162.25s Muda wa majibu (upeo) 84.96s Jibu lisilo sahihi: 16 Mwito wa zana si sahihi: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 3.8 Uandishi wa msimbo : 4.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 5.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#301#301	Solar Pro 4none	5.6	Upstage	$0.022	8.14s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 16 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 31.9% Majaribio yasiyo thabiti 1 Tokeni za ingizo 305,664 Tokeni za matokeo 13,249 Tokeni za hoja 0 Muda wa majibu (wastani) 8.14s Muda wa majibu (jumla) 187.23s Muda wa majibu (upeo) 69.17s Jibu lisilo sahihi: 14 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 5.4 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#376#376	Mimo V2 Omnidefault	4.5	Xiaomi	$0.021 ↓	2.44s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 36.2% Majaribio yasiyo thabiti 1 Tokeni za ingizo 40,852 Tokeni za matokeo 3,314 Tokeni za hoja 0 Muda wa majibu (wastani) 2.44s Muda wa majibu (jumla) 48.81s Muda wa majibu (upeo) 6.81s Jibu lisilo sahihi: 10 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 3.6 Uandishi wa msimbo : 4.4 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.1 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#290#290	Ling 3.0 Flashhigh	5.8	Inclusionai	$0.021 ↕	13.08s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 11 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 60.9% Majaribio yasiyo thabiti 4 Tokeni za ingizo 132,044 Tokeni za matokeo 92,135 Tokeni za hoja 207,321 Muda wa majibu (wastani) 13.08s Muda wa majibu (jumla) 287.79s Muda wa majibu (upeo) 75.27s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Mwito wa zana si sahihi: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.7 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#433#433	Step 3.5 Flashnone	1.9	Stepfun	$0.020	39.03s
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 1,971 Tokeni za matokeo 50,509 Tokeni za hoja 33,867 Muda wa majibu (wastani) 39.03s Muda wa majibu (jumla) 312.26s Muda wa majibu (upeo) 114.12s Hitilafu ya API: 4 Hakufuata maelekezo: 1 Jibu lisilo sahihi: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 1.0 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 1.5 Mahususi kwa domeni : 3.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 5.0 Utatuzi wa mafumbo : 0.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#336#336	Mercury 2.5low	5.1	Inception	$0.020	3.34s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 17 Uaminifu 9.8 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 5 Tokeni za ingizo 326,083 Tokeni za matokeo 7,224 Tokeni za hoja 33,078 Muda wa majibu (wastani) 3.34s Muda wa majibu (jumla) 76.80s Muda wa majibu (upeo) 47.06s Jibu lisilo sahihi: 14 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.6 Akili ya jumla : 4.4 Ufuataji wa maagizo : 2.9 Utatuzi wa mafumbo : 5.9 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#326#326	Laguna XS 2.1none	5.3	Poolside	$0.020	4.56s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 29.0% Majaribio yasiyo thabiti 3 Tokeni za ingizo 270,072 Tokeni za matokeo 23,173 Tokeni za hoja 0 Muda wa majibu (wastani) 4.56s Muda wa majibu (jumla) 104.80s Muda wa majibu (upeo) 70.79s Jibu lisilo sahihi: 14 Mwito wa zana si sahihi: 2 Hakufuata maelekezo: 1 Muda umeisha: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 5.3 Uandishi wa msimbo : 4.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 3.8 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#309#309	Gemini 2.5 Flashnone	5.5	Google	$0.017	6.00s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 1 Tokeni za ingizo 39,886 Tokeni za matokeo 1,890 Tokeni za hoja 0 Muda wa majibu (wastani) 6.00s Muda wa majibu (jumla) 138.04s Muda wa majibu (upeo) 118.00s Jibu lisilo sahihi: 13 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 3.0 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#377#377	Nemotron 3 Supernone	4.5	NVIDIA	$0.016 ↑	7.11s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 18 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 27.5% Majaribio yasiyo thabiti 3 Tokeni za ingizo 146,361 Tokeni za matokeo 9,073 Tokeni za hoja 1 Muda wa majibu (wastani) 7.11s Muda wa majibu (jumla) 163.46s Muda wa majibu (upeo) 30.51s Jibu lisilo sahihi: 16 Hakufuata maelekezo: 2 Kazi za mawakala : 2.8 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 3.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.6 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 5.5 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#386#386	gpt-oss-120bnone	4.2	OpenAI	$0.016 ↓	28.63s
Tazama kadi ya modeli Jumla ya majaribio 20 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 34.8% Majaribio yasiyo thabiti 3 Tokeni za ingizo 131,652 Tokeni za matokeo 16,869 Tokeni za hoja 53,081 Muda wa majibu (wastani) 28.63s Muda wa majibu (jumla) 486.69s Muda wa majibu (upeo) 140.90s Jibu lisilo sahihi: 9 Hitilafu ya API: 3 Hakufuata maelekezo: 2 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 1.5 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#351#351	Ling 2.6 1tdefault	4.9	Inclusionai	$0.016 ↑	8.16s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 19 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 17.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 106,423 Tokeni za matokeo 11,555 Tokeni za hoja 0 Muda wa majibu (wastani) 8.16s Muda wa majibu (jumla) 163.24s Muda wa majibu (upeo) 25.72s Jibu lisilo sahihi: 12 Hitilafu ya API: 4 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 3.4 Uandishi wa msimbo : 3.8 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#442#442	Claude Opus 5.5none	0.2	Anthropic	$0.015	13.58s
Tazama kadi ya modeli Jumla ya majaribio 1 Majaribio yenye makosa 0 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 4.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 73 Tokeni za matokeo 6 Tokeni za hoja 729 Muda wa majibu (wastani) 13.58s Muda wa majibu (jumla) 13.58s Muda wa majibu (upeo) 13.58s Kazi za mawakala : 0.0 Mbinu za kupinga AI : 0.0 Uandishi wa msimbo : 0.0 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 0.0 Mahususi kwa domeni : 3.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 0.0 Utatuzi wa mafumbo : 0.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#341#341	Mercury 2.5 Previewlow	5.0	Inception	$0.015 ↑	4.92s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 17 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 44.9% Majaribio yasiyo thabiti 8 Tokeni za ingizo 235,438 Tokeni za matokeo 8,136 Tokeni za hoja 28,734 Muda wa majibu (wastani) 4.92s Muda wa majibu (jumla) 113.24s Muda wa majibu (upeo) 84.47s Jibu lisilo sahihi: 13 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 5.6 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 4.1 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 2.8 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow