AI BENCHY
Advertise here

Kushindwa kwa kategoria za AI BENCHY

Uandishi wa msimbo: Jibu lisilo sahihi

Uandishi wa msimbo
Jibu lisilo sahihi

Ona ni modeli gani za AI zina uwezekano mkubwa wa kupata Jibu lisilo sahihi katika Uandishi wa msimbo, ili uone udhaifu haraka.

Modeli zilizoonyeshwa

15

Jumla ya kushindwa

120

Modeli iliyoathirika zaidi

Qwen3.6 Flash 2

Sababu za kushindwa

Jibu lisilo sahihi120 Hakuna jibu18 Hakufuata maelekezo16 Muda umeisha12 Muundo wa ziada7 Hitilafu ya API6

Kategoria

Mahususi kwa domeni298 Mbinu za kupinga AI235 Utatuzi wa mafumbo148 Maarifa ya jumla127 Uandishi wa msimbo120 Ufuataji wa maagizo52 Mchanganyiko51 Uchanganuzi na uchimbaji wa data32 Akili ya jumla27 Mwito wa zana2
Nafasi Modeli Kampuni Idadi ya Jibu lisilo sahihi Alama ya kategoria Majaribio sahihi Muda wa majibu (wastani)
#50 Gemini 3.1 Flash Lite low Google 1 6.8 1/2 1.71s
#52 GPT-5.3 Chat none OpenAI 1 6.9 1/2 10.5s
#53 MiMo-V2.5 medium Xiaomi 1 6.9 1/2 64.5s
#55 DeepSeek V4 Flash high DeepSeek 1 6.8 1/2 58.1s
#56 Qwen3.5-Flash medium Qwen 1 4.1 0/2 54.2s
#60 GLM 5V Turbo medium Z.ai 1 6.8 1/2 54.8s
#64 GPT-5.4 Nano medium OpenAI 1 6.8 1/2 21.1s
#65 GPT-5.4 Mini medium OpenAI 1 7.5 1/2 73.3s
#67 MiMo-V2-Flash medium Xiaomi 1 4.1 0/2 7.20s
#68 Seed-2.0-Mini medium Bytedance Seed 1 6.8 1/2 220.5s
#71 DeepSeek V3.2 medium DeepSeek 1 3.9 0/2 185.0s
#72 MiMo-V2-Omni medium Xiaomi 1 3.4 0/2 183.9s
#76 Gemma 4 31B none Google 1 6.8 1/2 14.8s
#78 Gemini 3.1 Flash Lite minimal Google 1 6.8 1/2 951ms
#84 Laguna Xs.2 medium Poolside 1 6.3 0/1 14.4s

Modeli bora kwa Idadi ya Jibu lisilo sahihi

Idadi ya Jibu lisilo sahihi dhidi ya Alama

Modeli bora kwa Muda wa majibu (wastani)

Modeli bora kwa Gharama iliyopotezwa inayokadiriwa