Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#305#305	Nemotron 3.5 Super VLnone	5.5	NVIDIA	$0.040	46.97s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.7 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 4 Tokeni za ingizo 251,253 Tokeni za matokeo 3,892 Tokeni za hoja 0 Muda wa majibu (wastani) 46.97s Muda wa majibu (jumla) 1080.29s Muda wa majibu (upeo) 872.07s Jibu lisilo sahihi: 11 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 3.6 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 4.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#306#306	Nemotron 3 Supermedium	5.5	NVIDIA	$0.081 ↑	56.40s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 229,346 Tokeni za matokeo 18,597 Tokeni za hoja 129,338 Muda wa majibu (wastani) 56.40s Muda wa majibu (jumla) 1184.46s Muda wa majibu (upeo) 431.98s Jibu lisilo sahihi: 6 Hitilafu ya API: 4 Hakufuata maelekezo: 3 Hakuna jibu: 1 Muda umeisha: 1 Kazi za mawakala : 4.7 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.1 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.1 Ufuataji wa maagizo : 7.3 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#309#309	Gemini 2.5 Flashnone	5.5	Google	$0.017	6.00s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 37.7% Majaribio yasiyo thabiti 1 Tokeni za ingizo 39,886 Tokeni za matokeo 1,890 Tokeni za hoja 0 Muda wa majibu (wastani) 6.00s Muda wa majibu (jumla) 138.04s Muda wa majibu (upeo) 118.00s Jibu lisilo sahihi: 13 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 3.0 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#316#316	North Mini Codemedium	5.4	Cohere	$0.000	140.39s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 8.9 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 166,347 Tokeni za matokeo 423,884 Tokeni za hoja 1,394,387 Muda wa majibu (wastani) 140.39s Muda wa majibu (jumla) 3229.07s Muda wa majibu (upeo) 786.72s Jibu lisilo sahihi: 10 Muundo wa ziada: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 8.4 Uandishi wa msimbo : 4.5 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 3.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#320#320	Ember-1none	5.4	Fireworks	$0.786	22.65s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 8.8 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 4 Tokeni za ingizo 202,617 Tokeni za matokeo 11,832 Tokeni za hoja 0 Muda wa majibu (wastani) 22.65s Muda wa majibu (jumla) 520.91s Muda wa majibu (upeo) 93.12s Jibu lisilo sahihi: 10 Hitilafu ya API: 5 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 5.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.4 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#337#337	KAT Coder AIR V2.5medium	5.1	Kwaipilot	$0.048	8.32s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 15 Uaminifu 9.6 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 3 Tokeni za ingizo 51,369 Tokeni za matokeo 8,008 Tokeni za hoja 58,568 Muda wa majibu (wastani) 8.32s Muda wa majibu (jumla) 191.40s Muda wa majibu (upeo) 48.19s Jibu lisilo sahihi: 10 Hitilafu ya API: 2 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Muda umeisha: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 3.6 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 3.6 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#413#413	Grok Build 0.1none	3.2	X AI	$0.547	28.69s
Tazama kadi ya modeli Jumla ya majaribio 19 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 4 Tokeni za ingizo 11,793 Tokeni za matokeo 1,809 Tokeni za hoja 265,466 Muda wa majibu (wastani) 28.69s Muda wa majibu (jumla) 459.00s Muda wa majibu (upeo) 138.35s Jibu lisilo sahihi: 7 Hitilafu ya API: 3 Hakufuata maelekezo: 2 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 3.3 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 3.8 Mahususi kwa domeni : 3.6 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 6.4 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#367#367	GLM 5V Turbonone	4.6	Z.ai	$0.052	2.99s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 34.8% Majaribio yasiyo thabiti 0 Tokeni za ingizo 37,100 Tokeni za matokeo 1,766 Tokeni za hoja 0 Muda wa majibu (wastani) 2.99s Muda wa majibu (jumla) 62.74s Muda wa majibu (upeo) 6.51s Jibu lisilo sahihi: 11 Hakufuata maelekezo: 2 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.6 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#370#370	Owl Alphamedium	4.6	Openrouter	$0.000	11.95s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 36.2% Majaribio yasiyo thabiti 1 Tokeni za ingizo 43,478 Tokeni za matokeo 2,974 Tokeni za hoja 0 Muda wa majibu (wastani) 11.95s Muda wa majibu (jumla) 250.88s Muda wa majibu (upeo) 58.63s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.4 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.3 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#376#376	Mimo V2 Omnidefault	4.5	Xiaomi	$0.021 ↓	2.44s
Tazama kadi ya modeli Jumla ya majaribio 21 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 36.2% Majaribio yasiyo thabiti 1 Tokeni za ingizo 40,852 Tokeni za matokeo 3,314 Tokeni za hoja 0 Muda wa majibu (wastani) 2.44s Muda wa majibu (jumla) 48.81s Muda wa majibu (upeo) 6.81s Jibu lisilo sahihi: 10 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 3.6 Uandishi wa msimbo : 4.4 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.1 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#222#222	Claude Sonnet 5.5medium	6.5	Anthropic	$1.100	8.03s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 40.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 361,183 Tokeni za matokeo 26,609 Tokeni za hoja 11,139 Muda wa majibu (wastani) 8.03s Muda wa majibu (jumla) 184.80s Muda wa majibu (upeo) 51.18s Muundo wa ziada: 8 Hakufuata maelekezo: 3 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Jibu lisilo sahihi: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 3.4 Mchanganyiko : 8.5 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.1 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#228#228	GLM 5.1none	6.5	Z.ai	$0.451 ↑	11.10s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 258,956 Tokeni za matokeo 20,076 Tokeni za hoja 0 Muda wa majibu (wastani) 11.10s Muda wa majibu (jumla) 255.39s Muda wa majibu (upeo) 107.19s Jibu lisilo sahihi: 12 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Kazi za mawakala : 10.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 3.9 Mchanganyiko : 2.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#231#231	Laguna XS 2.1medium	6.4	Poolside	$0.083	48.97s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 46.4% Majaribio yasiyo thabiti 3 Tokeni za ingizo 352,516 Tokeni za matokeo 33,786 Tokeni za hoja 504,506 Muda wa majibu (wastani) 48.97s Muda wa majibu (jumla) 1126.35s Muda wa majibu (upeo) 422.72s Jibu lisilo sahihi: 10 Mwito wa zana si sahihi: 2 Hakuna jibu: 2 Kazi za mawakala : 6.1 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 5.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#259#259	Space Bunny Alphaxhigh	6.2	Stealth	$0.000	60.03s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 55.1% Majaribio yasiyo thabiti 8 Tokeni za ingizo 363,310 Tokeni za matokeo 381,919 Tokeni za hoja 0 Muda wa majibu (wastani) 60.03s Muda wa majibu (jumla) 1380.67s Muda wa majibu (upeo) 459.99s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 2 Hakuna jibu: 2 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.2 Mbinu za kupinga AI : 6.4 Uandishi wa msimbo : 6.6 Mchanganyiko : 3.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 5.0 Ufuataji wa maagizo : 5.6 Utatuzi wa mafumbo : 7.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#277#277	MiMo-V2.6-Pronone	6.0	Xiaomi	$0.193	9.66s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 278,866 Tokeni za matokeo 82,069 Tokeni za hoja 0 Muda wa majibu (wastani) 9.66s Muda wa majibu (jumla) 222.07s Muda wa majibu (upeo) 106.86s Jibu lisilo sahihi: 10 Muundo wa ziada: 2 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 3.5 Uandishi wa msimbo : 5.6 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#281#281	gpt-oss-120bmedium	5.9	OpenAI	$0.030 ↓	31.58s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 285,293 Tokeni za matokeo 29,565 Tokeni za hoja 89,266 Muda wa majibu (wastani) 31.58s Muda wa majibu (jumla) 536.78s Muda wa majibu (upeo) 203.90s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 3 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.7 Uandishi wa msimbo : 5.9 Mchanganyiko : 6.5 Uchanganuzi na uchimbaji wa data : 6.4 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#282#282	Gemini 3.1 Flash Litenone	5.9	Google	$0.069	3.58s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 4 Tokeni za ingizo 202,069 Tokeni za matokeo 11,961 Tokeni za hoja 0 Muda wa majibu (wastani) 3.58s Muda wa majibu (jumla) 82.24s Muda wa majibu (upeo) 43.82s Jibu lisilo sahihi: 12 Hakufuata maelekezo: 1 Hakuna jibu: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 7.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 4.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 6.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#298#298	Gemma 4 31Bnone	5.7	Google	$0.031 ↓	7.28s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 270,970 Tokeni za matokeo 15,499 Tokeni za hoja 0 Muda wa majibu (wastani) 7.28s Muda wa majibu (jumla) 152.84s Muda wa majibu (upeo) 44.73s Jibu lisilo sahihi: 11 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Kazi za mawakala : 3.9 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 6.5 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#311#311	Gemma 4 26B A4Bnone	5.5	Google	$0.031	10.55s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 42.0% Majaribio yasiyo thabiti 1 Tokeni za ingizo 280,126 Tokeni za matokeo 17,306 Tokeni za hoja 0 Muda wa majibu (wastani) 10.55s Muda wa majibu (jumla) 242.57s Muda wa majibu (upeo) 75.76s Jibu lisilo sahihi: 10 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 3.7 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 6.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#315#315	Qwen3.8 27Bnone	5.4	Qwen	~$0.010	5.05s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 39.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 281,460 Tokeni za matokeo 13,791 Tokeni za hoja 0 Muda wa majibu (wastani) 5.05s Muda wa majibu (jumla) 116.11s Muda wa majibu (upeo) 47.42s Jibu lisilo sahihi: 12 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 6.5 Uandishi wa msimbo : 5.5 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 7.7 Akili ya jumla : 4.2 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#328#328	Inkling Smalllow	5.2	Thinkingmachines	$0.055 ↓	1.99s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 47.8% Majaribio yasiyo thabiti 4 Tokeni za ingizo 81,447 Tokeni za matokeo 2,715 Tokeni za hoja 11,971 Muda wa majibu (wastani) 1.99s Muda wa majibu (jumla) 45.67s Muda wa majibu (upeo) 5.82s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 2 Hitilafu ya API: 1 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 4.6 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 5.3 Ufuataji wa maagizo : 9.9 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#375#375	Ring 2.6 1tdefault	4.5	Inclusionai	$0.026 ↑	48.94s
Tazama kadi ya modeli Jumla ya majaribio 23 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 43.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 7,608 Tokeni za matokeo 17,529 Tokeni za hoja 34,499 Muda wa majibu (wastani) 48.94s Muda wa majibu (jumla) 831.92s Muda wa majibu (upeo) 143.82s Hitilafu ya API: 7 Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Kazi za mawakala : 3.0 Mbinu za kupinga AI : 9.2 Uandishi wa msimbo : 5.3 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.3 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#303#303	GLM 5none	5.6	Z.ai	$0.140 ↑	8.74s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 13 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 40.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 190,675 Tokeni za matokeo 5,577 Tokeni za hoja 0 Muda wa majibu (wastani) 8.74s Muda wa majibu (jumla) 131.17s Muda wa majibu (upeo) 74.80s Jibu lisilo sahihi: 13 Kazi za mawakala : 5.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 4.0 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 7 Uaminifu 9.4 Kiwango cha kupita kwa kila jaribio 24.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 48,363 Tokeni za matokeo 67 Tokeni za hoja 0 Muda wa majibu (wastani) 517ms Muda wa majibu (jumla) 6.20s Muda wa majibu (upeo) 776ms Jibu lisilo sahihi: 5 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 5.8 Uandishi wa msimbo : 4.5 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.9 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#437#437	Solar Decide Flashdefault	1.7	Upstage	$0.003	1.33s
Tazama kadi ya modeli Jumla ya majaribio 7 Majaribio yenye makosa 4 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 13.0% Majaribio yasiyo thabiti 0 Tokeni za ingizo 47,586 Tokeni za matokeo 51 Tokeni za hoja 0 Muda wa majibu (wastani) 1.33s Muda wa majibu (jumla) 9.32s Muda wa majibu (upeo) 1.66s Jibu lisilo sahihi: 4 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 0.8 Uandishi wa msimbo : 0.0 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.4 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow