Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-10-17 Modeli zilizotathminiwa: 442

Miundo inayopendekezwa

GPT-6.1 Sol xhigh Yenye akili Kiwango cha kupita kwa kila jaribio 97.1% Majaribio sahihi 22 / 23 Alama 9.9/10 Gemini 3.7 Flash low Haraka Muda wa majibu (wastani) 6.24s Jumla ya tokeni za matokeo 38,453 Alama 9.4/10 GPT-6 Luna high Nafuu Bei ya ingizo $0.100 / 1M Bei ya toleo $0.500 / 1M Bei ya kusoma akiba $0.010 / 1M Bei ya kuandika akiba $0.125 / 1M Alama 7.7/10

442/442

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#407#407	Grok 4.20none	3.4	X AI	$0.057 ↓	1.11s
Tazama kadi ya modeli Jumla ya majaribio 18 Majaribio yenye makosa 12 Uaminifu Haipo Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 41,313 Tokeni za matokeo 1,923 Tokeni za hoja 0 Muda wa majibu (wastani) 1.11s Muda wa majibu (jumla) 19.96s Muda wa majibu (upeo) 6.04s Jibu lisilo sahihi: 10 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 1.1 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.8 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 0.0
#426#426	Drex v1.5default	2.4	Nace AI	$0.002	986ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 17.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 42,804 Tokeni za matokeo 27,468 Tokeni za hoja 0 Muda wa majibu (wastani) 986ms Muda wa majibu (jumla) 11.84s Muda wa majibu (upeo) 1.38s Jibu lisilo sahihi: 8 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 4.5 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#438#438	Microsoft-Decision-1default	1.4	Microsoft	$0.002	982ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 7.3% Majaribio yasiyo thabiti 1 Tokeni za ingizo 41,466 Tokeni za matokeo 69 Tokeni za hoja 0 Muda wa majibu (wastani) 982ms Muda wa majibu (jumla) 11.78s Muda wa majibu (upeo) 1.41s Jibu lisilo sahihi: 11 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.4 Uandishi wa msimbo : 2.2 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#431#431	Clef Omnidefault	1.9	Cloudflare	$0.011	880ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 8.7% Majaribio yasiyo thabiti 0 Tokeni za ingizo 70,125 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 880ms Muda wa majibu (jumla) 10.56s Muda wa majibu (upeo) 1.31s Jibu lisilo sahihi: 9 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.5 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.0 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#416#416	Laguna Xs.2default	3.1	Poolside	$0.004 ↕	806ms
Tazama kadi ya modeli Jumla ya majaribio 19 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 21.7% Majaribio yasiyo thabiti 0 Tokeni za ingizo 33,675 Tokeni za matokeo 2,826 Tokeni za hoja 0 Muda wa majibu (wastani) 806ms Muda wa majibu (jumla) 12.09s Muda wa majibu (upeo) 2.01s Jibu lisilo sahihi: 8 Hitilafu ya API: 4 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 3.0 Uandishi wa msimbo : 0.8 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 3.0 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#436#436	LFM2-24B-A2Bdefault	1.8	Liquid	$0.001	782ms
Tazama kadi ya modeli Jumla ya majaribio 16 Majaribio yenye makosa 14 Uaminifu Haipo Kiwango cha kupita kwa kila jaribio 11.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 10,771 Tokeni za matokeo 1,173 Tokeni za hoja 0 Muda wa majibu (wastani) 782ms Muda wa majibu (jumla) 10.94s Muda wa majibu (upeo) 3.15s Jibu lisilo sahihi: 9 Hitilafu ya API: 4 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 2.5 Uandishi wa msimbo : 0.0 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 4.0 Ufuataji wa maagizo : 6.3 Utatuzi wa mafumbo : 3.8 Mwito wa zana : 3.0 Maarifa ya jumla : 0.0
#422#422	Nemotron 3 Nano Omni 30b A3b Reasoningdefault	2.6	NVIDIA	$0.000	728ms
Tazama kadi ya modeli Jumla ya majaribio 19 Majaribio yenye makosa 17 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 14.5% Majaribio yasiyo thabiti 2 Tokeni za ingizo 11,661 Tokeni za matokeo 1,302 Tokeni za hoja 0 Muda wa majibu (wastani) 728ms Muda wa majibu (jumla) 9.47s Muda wa majibu (upeo) 2.21s Jibu lisilo sahihi: 9 Hitilafu ya API: 6 Hakufuata maelekezo: 2 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.8 Uandishi wa msimbo : 3.3 Mchanganyiko : 1.5 Uchanganuzi na uchimbaji wa data : 3.8 Mahususi kwa domeni : 3.6 Akili ya jumla : 3.0 Ufuataji wa maagizo : 4.8 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 3.0 Maarifa ya jumla : 3.0
#423#423	Jev 1.13default	2.6	Typesafe	$0.003	698ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 26.1% Majaribio yasiyo thabiti 0 Tokeni za ingizo 67,092 Tokeni za matokeo 18,927 Tokeni za hoja 0 Muda wa majibu (wastani) 698ms Muda wa majibu (jumla) 8.38s Muda wa majibu (upeo) 1.08s Jibu lisilo sahihi: 6 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.2 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 7.7 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 3.3 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#421#421	d1-ultradefault	2.7	Liquid	$0.003	531ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 20.3% Majaribio yasiyo thabiti 1 Tokeni za ingizo 55,956 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 531ms Muda wa majibu (jumla) 6.38s Muda wa majibu (upeo) 697ms Jibu lisilo sahihi: 7 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 5.3 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#424#424	Decider V1.2default	2.6	Perplexity	$0.001	517ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 7 Uaminifu 9.4 Kiwango cha kupita kwa kila jaribio 24.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 48,363 Tokeni za matokeo 67 Tokeni za hoja 0 Muda wa majibu (wastani) 517ms Muda wa majibu (jumla) 6.20s Muda wa majibu (upeo) 776ms Jibu lisilo sahihi: 5 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 5.8 Uandishi wa msimbo : 4.5 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.9 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#434#434	D1default	1.9	Liquid	$0.003	508ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 11.6% Majaribio yasiyo thabiti 1 Tokeni za ingizo 55,956 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 508ms Muda wa majibu (jumla) 6.10s Muda wa majibu (upeo) 820ms Jibu lisilo sahihi: 10 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.2 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 3.6 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#440#440	Tev1 4B Experimentaldefault	1.0	Togethercomputer	$0.002	498ms
Tazama kadi ya modeli Jumla ya majaribio 7 Majaribio yenye makosa 4 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 13.0% Majaribio yasiyo thabiti 0 Tokeni za ingizo 33,864 Tokeni za matokeo 96 Tokeni za hoja 0 Muda wa majibu (wastani) 498ms Muda wa majibu (jumla) 3.49s Muda wa majibu (upeo) 602ms Jibu lisilo sahihi: 4 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 2.5 Uandishi wa msimbo : 0.0 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 6.7 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#427#427	GPT-6 Luna Decisionsdefault	2.4	OpenAI	$0.005	495ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 9 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 13.0% Majaribio yasiyo thabiti 0 Tokeni za ingizo 47,583 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 495ms Muda wa majibu (jumla) 5.94s Muda wa majibu (upeo) 842ms Jibu lisilo sahihi: 8 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 2.3 Uandishi wa msimbo : 2.5 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#432#432	Decider Flash V1.2default	1.9	Perplexity	$0.001	462ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 9 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 13.0% Majaribio yasiyo thabiti 0 Tokeni za ingizo 49,176 Tokeni za matokeo 69 Tokeni za hoja 0 Muda wa majibu (wastani) 462ms Muda wa majibu (jumla) 5.55s Muda wa majibu (upeo) 661ms Jibu lisilo sahihi: 9 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.2 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.0 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#429#429	Jev 1.14default	2.3	Typesafe	$0.003	377ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 23.2% Majaribio yasiyo thabiti 2 Tokeni za ingizo 67,092 Tokeni za matokeo 18,927 Tokeni za hoja 0 Muda wa majibu (wastani) 377ms Muda wa majibu (jumla) 4.52s Muda wa majibu (upeo) 546ms Jibu lisilo sahihi: 7 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 2.7 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 7.7 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#441#441	Nimble v3 9Bdefault	0.8	Bespoke Labs	~$0.001	363ms
Tazama kadi ya modeli Jumla ya majaribio 7 Majaribio yenye makosa 6 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 4.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 103,770 Tokeni za matokeo 0 Tokeni za hoja 0 Muda wa majibu (wastani) 363ms Muda wa majibu (jumla) 2.54s Muda wa majibu (upeo) 1.24s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 1 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 2.5 Uandishi wa msimbo : 0.0 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 3.0 Mahususi kwa domeni : 2.0 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0
#425#425	Decider V1.1 27Bdefault	2.6	Perplexity	$0.002	320ms
Tazama kadi ya modeli Jumla ya majaribio 12 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 17.4% Majaribio yasiyo thabiti 0 Tokeni za ingizo 73,557 Tokeni za matokeo 69 Tokeni za hoja 0 Muda wa majibu (wastani) 320ms Muda wa majibu (jumla) 3.84s Muda wa majibu (upeo) 491ms Jibu lisilo sahihi: 8 Kazi za mawakala : 0.0 Mbinu za kupinga AI : 4.0 Uandishi wa msimbo : 4.9 Mchanganyiko : 0.0 Uchanganuzi na uchimbaji wa data : 6.5 Mahususi kwa domeni : 5.3 Akili ya jumla : 0.0 Ufuataji wa maagizo : 1.5 Utatuzi wa mafumbo : 1.7 Mwito wa zana : 0.0 Maarifa ya jumla : 0.0

←

1 17 18

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGPT-6 Solhigh GPT-6 SolhighvsGPT-6.1 Solmax GPT-6.1 SolmaxvsGPT-6 Astramax GPT-6 AstramaxvsGPT-6.1 Solxhigh GPT-6.1 SolxhighvsGPT-6 Astrahigh GPT-6 AstrahighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-6.1 Solmedium GPT-6.1 SolmediumvsGPT-6.1 Solhigh GPT-6.1 SolhighvsGPT-5.6 Sollow GPT-5.6 SollowvsGPT-6 Astralow