Ubao wa Viwango wa AI Benchy

Name: Matokeo ya Benchmark ya Modeli za AI BENCHY
Creator: AI BENCHY
License: https://aibenchy.com/methodology/

Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe: 2026-09-02 Modeli zilizotathminiwa: 311

Miundo inayopendekezwa

GPT-5.6 Sol high Yenye akili Kiwango cha kupita kwa kila jaribio 89.4% Majaribio sahihi 18 / 22 Alama 9.4/10 GPT-5.6 Luna medium Haraka Muda wa majibu (wastani) 7.43s Jumla ya tokeni za matokeo 44,525 Alama 7.4/10 DeepSeek V4 Flash 0731 high Nafuu Bei ya ingizo $0.065 / 1M Bei ya toleo $0.180 / 1M Alama 8.0/10

311/311

Nafasi	Modeli	Alama	Kampuni	Jumla ya gharama	Muda wa majibu (wastani)
#94#94	Qwen3.5 Plus 2026-02-15medium	7.5	Qwen	$0.459 ↓	91.76s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 72.7% Majaribio yasiyo thabiti 5 Tokeni za ingizo 113,569 Tokeni za matokeo 9,823 Tokeni za hoja 264,886 Muda wa majibu (wastani) 91.76s Muda wa majibu (jumla) 1376.42s Muda wa majibu (upeo) 304.85s Jibu lisilo sahihi: 4 Muda umeisha: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 6.6 Mchanganyiko : 6.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.7 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#83#83	DeepSeek V4 Prohigh	7.7	DeepSeek	$0.489 ↑	92.50s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.6% Majaribio yasiyo thabiti 6 Tokeni za ingizo 90,757 Tokeni za matokeo 22,928 Tokeni za hoja 186,516 Muda wa majibu (wastani) 92.50s Muda wa majibu (jumla) 2035.01s Muda wa majibu (upeo) 416.76s Jibu lisilo sahihi: 7 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Mbinu za kupinga AI : 5.7 Uandishi wa msimbo : 6.3 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 10.0 Ufuataji wa maagizo : 7.8 Utatuzi wa mafumbo : 6.9 Mwito wa zana : 9.8 Maarifa ya jumla : 3.0
#133#133	Seed-2.0-Minimedium	7.0	Bytedance Seed	$0.116	93.10s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 8.7 Kiwango cha kupita kwa kila jaribio 57.6% Majaribio yasiyo thabiti 3 Tokeni za ingizo 125,704 Tokeni za matokeo 10,781 Tokeni za hoja 247,541 Muda wa majibu (wastani) 93.10s Muda wa majibu (jumla) 1768.91s Muda wa majibu (upeo) 301.78s Jibu lisilo sahihi: 5 Muda umeisha: 4 Hakufuata maelekezo: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 6.6 Uandishi wa msimbo : 5.5 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#58#58	Muse Glimmer 30Bxhigh	8.1	Meta	$0.510 ↓	95.55s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 9 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 69.7% Majaribio yasiyo thabiti 4 Tokeni za ingizo 110,930 Tokeni za matokeo 116,373 Tokeni za hoja 330,471 Muda wa majibu (wastani) 95.55s Muda wa majibu (jumla) 2102.12s Muda wa majibu (upeo) 576.79s Jibu lisilo sahihi: 4 Hakuna jibu: 3 Hakufuata maelekezo: 1 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 6.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#194#194	Trinity Large Thinkinglow	6.0	Arcee AI	$0.625 ↓	96.61s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 14 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 47.0% Majaribio yasiyo thabiti 5 Tokeni za ingizo 122,854 Tokeni za matokeo 119,810 Tokeni za hoja 698,549 Muda wa majibu (wastani) 96.61s Muda wa majibu (jumla) 2125.51s Muda wa majibu (upeo) 540.96s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 2 Hakuna jibu: 1 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.3 Mchanganyiko : 5.2 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 4.4 Utatuzi wa mafumbo : 6.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#134#134	Kimi K2.5medium	7.0	Moonshot AI	$0.479 ↓	98.19s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.6% Majaribio yasiyo thabiti 8 Tokeni za ingizo 118,496 Tokeni za matokeo 53,522 Tokeni za hoja 167,420 Muda wa majibu (wastani) 98.19s Muda wa majibu (jumla) 1571.05s Muda wa majibu (upeo) 281.00s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Hakuna jibu: 2 Muda umeisha: 2 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 7.3 Uandishi wa msimbo : 6.1 Mchanganyiko : 6.7 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 5.3 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#142#142	Seed-2.0-Codemedium	6.8	Bytedance Seed	$1.153	101.05s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 7.3 Kiwango cha kupita kwa kila jaribio 63.6% Majaribio yasiyo thabiti 7 Tokeni za ingizo 76,036 Tokeni za matokeo 7,267 Tokeni za hoja 364,176 Muda wa majibu (wastani) 101.05s Muda wa majibu (jumla) 2223.19s Muda wa majibu (upeo) 626.58s Hitilafu ya API: 6 Jibu lisilo sahihi: 4 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mbinu za kupinga AI : 6.9 Uandishi wa msimbo : 8.9 Mchanganyiko : 4.7 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 5.3 Akili ya jumla : 4.8 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#149#149	Gemma 4 26B A4Bmedium	6.8	Google	$0.092 ↓	104.93s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 7 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 69.7% Majaribio yasiyo thabiti 1 Tokeni za ingizo 77,528 Tokeni za matokeo 26,048 Tokeni za hoja 227,598 Muda wa majibu (wastani) 104.93s Muda wa majibu (jumla) 2203.52s Muda wa majibu (upeo) 912.19s Hakuna jibu: 2 Muda umeisha: 2 Jibu lisilo sahihi: 2 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 2.9 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#165#165	Qwen3.6 27Bmedium	6.5	Qwen	$1.045 ↑	106.06s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.6% Majaribio yasiyo thabiti 7 Tokeni za ingizo 106,176 Tokeni za matokeo 33,013 Tokeni za hoja 239,560 Muda wa majibu (wastani) 106.06s Muda wa majibu (jumla) 2333.36s Muda wa majibu (upeo) 1085.11s Jibu lisilo sahihi: 5 Hakuna jibu: 3 Mwito wa zana si sahihi: 2 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 7.7 Mchanganyiko : 6.7 Uchanganuzi na uchimbaji wa data : 3.5 Mahususi kwa domeni : 2.9 Akili ya jumla : 6.5 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 7.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#304#304	Qwen3.5-9Bmedium	3.8	Qwen	$0.062 ↑	107.51s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 19 Uaminifu 6.0 Kiwango cha kupita kwa kila jaribio 25.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 17,195 Tokeni za matokeo 46,735 Tokeni za hoja 366,707 Muda wa majibu (wastani) 107.51s Muda wa majibu (jumla) 1720.15s Muda wa majibu (upeo) 569.97s Muda umeisha: 11 Hakuna jibu: 3 Jibu lisilo sahihi: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mbinu za kupinga AI : 5.1 Uandishi wa msimbo : 2.9 Mchanganyiko : 3.0 Uchanganuzi na uchimbaji wa data : 3.6 Mahususi kwa domeni : 3.6 Akili ya jumla : 2.8 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 3.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#183#183	Qwen3.5-35B-A3Bmedium	6.1	Qwen	$1.140 ↑	110.84s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 65.2% Majaribio yasiyo thabiti 6 Tokeni za ingizo 130,450 Tokeni za matokeo 54,857 Tokeni za hoja 838,606 Muda wa majibu (wastani) 110.84s Muda wa majibu (jumla) 2438.58s Muda wa majibu (upeo) 950.25s Muda umeisha: 4 Hakuna jibu: 3 Jibu lisilo sahihi: 2 Hitilafu ya API: 1 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.9 Mchanganyiko : 3.8 Uchanganuzi na uchimbaji wa data : 7.3 Mahususi kwa domeni : 3.5 Akili ya jumla : 2.8 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#240#240	Laguna S 2.1high	5.4	Poolside	$0.114 ↓	111.60s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 18 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 27.3% Majaribio yasiyo thabiti 5 Tokeni za ingizo 208,937 Tokeni za matokeo 175,588 Tokeni za hoja 409,276 Muda wa majibu (wastani) 111.60s Muda wa majibu (jumla) 2455.24s Muda wa majibu (upeo) 1190.11s Jibu lisilo sahihi: 11 Mwito wa zana si sahihi: 2 Hakuna jibu: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakufuata maelekezo: 1 Mbinu za kupinga AI : 3.4 Uandishi wa msimbo : 5.3 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 4.6 Ufuataji wa maagizo : 4.6 Utatuzi wa mafumbo : 2.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#95#95	Qwen3.5-27Bmedium	7.5	Qwen	$0.982 ↓	113.28s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 9 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 75.8% Majaribio yasiyo thabiti 6 Tokeni za ingizo 111,644 Tokeni za matokeo 16,113 Tokeni za hoja 598,796 Muda wa majibu (wastani) 113.28s Muda wa majibu (jumla) 2492.26s Muda wa majibu (upeo) 1026.43s Jibu lisilo sahihi: 4 Hakufuata maelekezo: 2 Muundo wa ziada: 1 Mwito wa zana si sahihi: 1 Muda umeisha: 1 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 6.2 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.9 Akili ya jumla : 6.1 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#152#152	LongCat 2.0low	6.7	Meituan	$0.412	113.61s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 12 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 54.6% Majaribio yasiyo thabiti 4 Tokeni za ingizo 90,870 Tokeni za matokeo 5,676 Tokeni za hoja 314,918 Muda wa majibu (wastani) 113.61s Muda wa majibu (jumla) 2499.46s Muda wa majibu (upeo) 560.39s Jibu lisilo sahihi: 7 Hitilafu ya API: 2 Hakufuata maelekezo: 1 Hakuna jibu: 1 Muda umeisha: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 6.6 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 2.9 Akili ya jumla : 3.4 Ufuataji wa maagizo : 6.5 Utatuzi wa mafumbo : 3.1 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#62#62	DeepSeek V4 Flash 0731high	8.0	DeepSeek	$0.084 ↓	114.94s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 8 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 75.8% Majaribio yasiyo thabiti 5 Tokeni za ingizo 96,702 Tokeni za matokeo 16,966 Tokeni za hoja 496,341 Muda wa majibu (wastani) 114.94s Muda wa majibu (jumla) 2528.65s Muda wa majibu (upeo) 600.61s Jibu lisilo sahihi: 4 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 6.3 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 10.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 8.2 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#116#116	Kimi K2.6medium	7.2	Moonshot AI	$1.247 ↑	115.89s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 63.6% Majaribio yasiyo thabiti 4 Tokeni za ingizo 68,913 Tokeni za matokeo 64,654 Tokeni za hoja 282,865 Muda wa majibu (wastani) 115.89s Muda wa majibu (jumla) 2433.66s Muda wa majibu (upeo) 876.20s Muda umeisha: 3 Jibu lisilo sahihi: 3 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 7.0 Uandishi wa msimbo : 5.7 Mchanganyiko : 6.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 5.3 Akili ya jumla : 10.0 Ufuataji wa maagizo : 10.0 Utatuzi wa mafumbo : 6.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#24#24	Muse Spark 1.3high	9.0	Meta	$1.252	117.06s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 5 Uaminifu 9.5 Kiwango cha kupita kwa kila jaribio 81.8% Majaribio yasiyo thabiti 3 Tokeni za ingizo 99,477 Tokeni za matokeo 14,053 Tokeni za hoja 251,124 Muda wa majibu (wastani) 117.06s Muda wa majibu (jumla) 2575.43s Muda wa majibu (upeo) 470.12s Jibu lisilo sahihi: 2 Hitilafu ya API: 1 Hakufuata maelekezo: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 10.0 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 10.0 Ufuataji wa maagizo : 6.4 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 9.6 Maarifa ya jumla : 3.0
#56#56	Qwen3.8 2.4T A95Blow	8.1	Qwen	$2.672	118.97s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 7 Uaminifu 9.4 Kiwango cha kupita kwa kila jaribio 72.7% Majaribio yasiyo thabiti 2 Tokeni za ingizo 113,279 Tokeni za matokeo 121,045 Tokeni za hoja 374,496 Muda wa majibu (wastani) 118.97s Muda wa majibu (jumla) 2617.41s Muda wa majibu (upeo) 534.21s Jibu lisilo sahihi: 4 Hakuna jibu: 2 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 7.8 Mchanganyiko : 8.2 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.2 Akili ya jumla : 6.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#125#125	Solar Pro 4high	7.1	Upstage	$0.046	120.58s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 62.1% Majaribio yasiyo thabiti 5 Tokeni za ingizo 79,740 Tokeni za matokeo 23,357 Tokeni za hoja 339,837 Muda wa majibu (wastani) 120.58s Muda wa majibu (jumla) 2652.77s Muda wa majibu (upeo) 491.07s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 3 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 8.7 Uandishi wa msimbo : 5.7 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.6 Akili ya jumla : 5.5 Ufuataji wa maagizo : 7.9 Utatuzi wa mafumbo : 8.7 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#105#105	Qwen3.8 2.4T A95Bhigh	7.4	Qwen	$2.357	120.59s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 8 Uaminifu 9.4 Kiwango cha kupita kwa kila jaribio 74.2% Majaribio yasiyo thabiti 4 Tokeni za ingizo 108,931 Tokeni za matokeo 112,801 Tokeni za hoja 343,227 Muda wa majibu (wastani) 120.59s Muda wa majibu (jumla) 2653.05s Muda wa majibu (upeo) 532.28s Jibu lisilo sahihi: 3 Hakufuata maelekezo: 2 Hakuna jibu: 2 Mwito wa zana si sahihi: 1 Mbinu za kupinga AI : 10.0 Uandishi wa msimbo : 5.9 Mchanganyiko : 6.9 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 4.1 Akili ya jumla : 6.1 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 10.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#138#138	Seed-2.0-Codehigh	6.9	Bytedance Seed	$1.273	124.18s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 8.6 Kiwango cha kupita kwa kila jaribio 63.6% Majaribio yasiyo thabiti 5 Tokeni za ingizo 81,970 Tokeni za matokeo 7,186 Tokeni za hoja 403,389 Muda wa majibu (wastani) 124.18s Muda wa majibu (jumla) 2732.03s Muda wa majibu (upeo) 675.30s Hitilafu ya API: 5 Jibu lisilo sahihi: 4 Hakufuata maelekezo: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 6.2 Mchanganyiko : 7.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.5 Akili ya jumla : 4.6 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 7.8 Mwito wa zana : 4.7 Maarifa ya jumla : 3.0
#144#144	Solar Pro 4medium	6.8	Upstage	$0.047	127.64s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 10 Uaminifu 9.9 Kiwango cha kupita kwa kila jaribio 62.1% Majaribio yasiyo thabiti 4 Tokeni za ingizo 87,902 Tokeni za matokeo 30,743 Tokeni za hoja 335,668 Muda wa majibu (wastani) 127.64s Muda wa majibu (jumla) 2808.09s Muda wa majibu (upeo) 519.91s Jibu lisilo sahihi: 5 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Muundo wa ziada: 1 Hakuna jibu: 1 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.4 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 3.0 Ufuataji wa maagizo : 9.8 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#289#289	GLM 4.7 Flashmedium	4.3	Z.ai	$0.168	134.34s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 18 Uaminifu 8.6 Kiwango cha kupita kwa kila jaribio 31.8% Majaribio yasiyo thabiti 8 Tokeni za ingizo 79,104 Tokeni za matokeo 42,254 Tokeni za hoja 377,280 Muda wa majibu (wastani) 134.34s Muda wa majibu (jumla) 2015.13s Muda wa majibu (upeo) 1539.97s Jibu lisilo sahihi: 9 Hakuna jibu: 3 Hakufuata maelekezo: 2 Mwito wa zana si sahihi: 2 Muda umeisha: 2 Mbinu za kupinga AI : 4.7 Uandishi wa msimbo : 3.2 Mchanganyiko : 2.9 Uchanganuzi na uchimbaji wa data : 6.3 Mahususi kwa domeni : 3.5 Akili ya jumla : 3.6 Ufuataji wa maagizo : 6.2 Utatuzi wa mafumbo : 2.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#87#87	Solar Pro 4xhigh	7.6	Upstage	$0.050	134.85s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 10 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.6% Majaribio yasiyo thabiti 2 Tokeni za ingizo 98,116 Tokeni za matokeo 21,720 Tokeni za hoja 367,730 Muda wa majibu (wastani) 134.85s Muda wa majibu (jumla) 2966.79s Muda wa majibu (upeo) 491.42s Jibu lisilo sahihi: 4 Hakufuata maelekezo: 3 Hakuna jibu: 2 Muundo wa ziada: 1 Mbinu za kupinga AI : 8.3 Uandishi wa msimbo : 5.8 Mchanganyiko : 10.0 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 3.0 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.4 Utatuzi wa mafumbo : 8.9 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0
#143#143	Solar Pro 4low	6.8	Upstage	$0.044	136.11s
Tazama kadi ya modeli Jumla ya majaribio 22 Majaribio yenye makosa 11 Uaminifu 10.0 Kiwango cha kupita kwa kila jaribio 60.6% Majaribio yasiyo thabiti 6 Tokeni za ingizo 90,556 Tokeni za matokeo 6,153 Tokeni za hoja 332,220 Muda wa majibu (wastani) 136.11s Muda wa majibu (jumla) 2994.49s Muda wa majibu (upeo) 640.89s Jibu lisilo sahihi: 6 Hakufuata maelekezo: 2 Hitilafu ya API: 1 Hakuna jibu: 1 Muda umeisha: 1 Mbinu za kupinga AI : 8.2 Uandishi wa msimbo : 5.5 Mchanganyiko : 6.3 Uchanganuzi na uchimbaji wa data : 10.0 Mahususi kwa domeni : 2.9 Akili ya jumla : 5.5 Ufuataji wa maagizo : 8.0 Utatuzi wa mafumbo : 9.0 Mwito wa zana : 10.0 Maarifa ya jumla : 3.0

Mienendo ya jumla ya benchmark

Ona jinsi modeli za sasa zinavyosawazisha alama, gharama, kasi, urefu wa matokeo na uwezo kwa kila kategoria.

Chati →

Mpaka wa Pareto: akili dhidi ya gharama

Maendeleo ya alama bora za kampuni zinazoongoza

Mpaka wa Pareto: akili dhidi ya kasi ya majibu

Mpaka wa Pareto: alama dhidi ya tokeni za matokeo

Ugumu wa kategoria katika modeli zote

Ulinganisho wa haraka

Gemini 3.6 FlashhighvsGemini 3.8 Flashhigh Gemini 3.8 FlashhighvsGemini 3.7 Flashhigh Gemini 3.7 FlashhighvsGemini 3.6 Flashmedium Gemini 3.6 FlashmediumvsGPT-5.6 Sollow GPT-5.6 SollowvsGemini 3 Flash Previewmedium Gemini 3 Flash PreviewmediumvsGemini 3.5 Flashhigh Gemini 3.5 FlashhighvsGemini 3.7 Flashmedium Gemini 3.7 FlashmediumvsGPT-5.6 Solmedium GPT-5.6 SolmediumvsGPT-5.6 Solhigh GPT-5.6 SolhighvsGPT-5.5low GPT-5.5lowvsGrok 4.6high Grok 4.6highvsGemini 3.1 Pro Previewmedium