AI BENCHY
Advertise here

Kushindwa kwa kategoria za AI BENCHY

Uandishi wa msimbo: Jibu lisilo sahihi

Uandishi wa msimbo
Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

15

Jumla ya kushindwa

120

Modeli iliyoathirika zaidi

Qwen3.6 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Mahususi kwa domeni298 Mbinu za kupinga AI235 Utatuzi wa mafumbo148 Maarifa ya jumla127 Uandishi wa msimbo120 Ufuataji wa maagizo52 Mchanganyiko51 Uchanganuzi na uchimbaji wa data32 Akili ya jumla27 Mwito wa zana2
Nafasi Modeli Kampuni Idadi ya Jibu lisilo sahihi Alama ya kategoria Majaribio sahihi Muda wa majibu (wastani)
#112 GPT-5.4 none OpenAI 1 6.8 1/2 1.99s
#114 DeepSeek V3.2 none DeepSeek 1 3.1 0/2 20.9s
#115 MiMo-V2.5-Pro none Xiaomi 1 5.0 0/2 1.80s
#116 Qwen3.6 Flash none Qwen 1 6.6 1/2 2.34s
#117 Grok 4.20 Beta none X AI 1 5.5 0/1 1.14s
#118 Nemotron 3 Nano Omni 30b A3b Reasoning medium NVIDIA 1 3.3 0/1 38.1s
#119 MiniMax M2.5 medium Minimax 1 3.5 0/2 125.8s
#120 Grok 4.20 none X AI 1 3.4 0/1 1.22s
#122 Elephant Alpha medium Openrouter 1 4.0 0/2 1.30s
#123 Laguna M.1 none Poolside 1 7.5 0/1 2.93s
#126 Kimi K2.5 none Moonshot AI 1 6.8 1/2 36.0s
#127 Laguna Xs.2 none Poolside 1 2.5 0/1 1.96s
#129 gpt-oss-120b none OpenAI 1 4.3 0/1 9.57s
#130 Elephant Alpha none Openrouter 1 4.7 0/2 1.39s
#136 GPT-5.4 Mini none OpenAI 1 6.8 1/2 1.01s

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa