average score iko karibu sawa: 5.5 vs 5.6. Qwen3.8 27B ina gharama ya chini ya benchmark: ~$0.006 vs $1.745. Qwen3.8 27B ni ya haraka zaidi: 3.12s vs 214.25s, na pass rates 40.9% vs 19.7%.
Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe:
2026-08-29
Majibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
Nafasi
#220
Jumla ya tokeni za matokeo
11,445
Muda wa majibu (wastani)
3.12s
Jumla ya gharama
~$0.006Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
Nafasi
#217
Jumla ya tokeni za matokeo
682,538
Muda wa majibu (wastani)
214.25s
Jumla ya gharama
$1.745
Muundo unaopendekezwaQwen3.8 27B
It has the best score here (5.5), while costing about 308.3x less than Hy4 preview (low).
Ulinganisho wa kina
Kipimo
Qwen3.8 27BQwen3.8 27BnoneMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.Toleo: 2026-08-14
5.5Wastani wa alama katika majaribio yote ya benchmark.…
5.6Wastani wa alama katika majaribio yote ya benchmark.…
Nafasi
#220
#217
Uaminifu
10.0Alama ya mafanikio ya jaribio la kwanza: 10.0 humaanisha hakuna hitilafu za API lengwa au kikomo cha kasi zinazoweza kujaribiwa tena kabla ya miito iliyofanikiwa; hitilafu zilizorekodiwa hushusha alama.…
5.4Alama ya mafanikio ya jaribio la kwanza: 10.0 humaanisha hakuna hitilafu za API lengwa au kikomo cha kasi zinazoweza kujaribiwa tena kabla ya miito iliyofanikiwa; hitilafu zilizorekodiwa hushusha alama.…
Uthabiti
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
8.5Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
Majaribio
66/66
66/66
Majaribio sahihi
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 11Hakufuata maelekezo: 1Mwito wa zana si sahihi: 1Muda wa majibu (wastani)3.12sMuda wa majibu (upeo)44.76sMuda wa majibu (jumla)68.69sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 14Jibu lisilo sahihi: 3Hakufuata maelekezo: 1Hakuna jibu: 1Muda wa majibu (wastani)214.25sMuda wa majibu (upeo)597.45sMuda wa majibu (jumla)4713.56sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
Kiwango cha kupita kwa kila jaribio
40.9%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
19.7%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
Majaribio yasiyo thabiti
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
3Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jumla ya uendeshaji
66Jumla ya uendeshaji…
66Jumla ya uendeshaji…
Gharama kwa matokeo
~0.063Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
58.157
Jumla ya gharama
~$0.006Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0572 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.005659.
$1.745
Bei ya ingizo
HaipoBei ya ingizo…
$0.834 / 1MBei ya ingizo…
Bei ya toleo
HaipoBei ya toleo…
$2.501 / 1MBei ya toleo…
Jumla ya tokeni za ingizo
122,463Jumla ya tokeni za ingizo…
45,154Jumla ya tokeni za ingizo…
Tokeni za matokeo
11,445Tokeni za matokeo…
4,022Tokeni za matokeo…
Tokeni za hoja
0Tokeni za hoja…
678,516Tokeni za hoja…
Muda wa majibu (wastani)
3.12sMuda wa majibu (wastani)…
214.25sMuda wa majibu (wastani)…
Muda wa majibu (upeo)
44.76sMuda wa majibu (upeo)…
597.45sMuda wa majibu (upeo)…
Muda wa majibu (jumla)
68.69sMuda wa majibu (jumla)…
4713.56sMuda wa majibu (jumla)…
Vigezo
27.3B
770B jumla (49B vinavyotumika)
Upatikanaji
Uzani unapatikana
Chanzo huria
Onyesho la kizazi cha modeli
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#220 Qwen3.8 27B
noneMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
Gharama
~$0.001Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0066 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.000657.
Muda
23.9s
Tokeni
1,922 tok
#217 Hy4 preview
low
Provider returned error
Gharama
$0.000
Muda
1.1s
Tokeni
0 tok
Alama
-
Gharama
-
Muda
-
Tokeni
-
Modeli bora kwa alama
Alama dhidi ya gharama ya jumla
Muda wa majibu (wastani)
Alama vs Muda wa majibu (wastani)
Jumla ya tokeni za matokeo
Alama vs Jumla ya tokeni za matokeo
Mgawanyo wa kategoria
Mbinu za kupinga AI
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
6.5Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
50.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 2Muda wa majibu (wastani)828msMuda wa majibu (upeo)1.95sMuda wa majibu (jumla)3.31sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
6.0Wastani wa alama katika majaribio yote ya benchmark.…
8.9Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 4Muda wa majibu (wastani)129.60sMuda wa majibu (upeo)237.97sMuda wa majibu (jumla)518.41sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
129.60sMuda wa majibu (wastani)…
624Jumla ya tokeni za ingizo…
478Tokeni za matokeo…
72,022Tokeni za hoja…
Uandishi wa msimbo
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
5.5Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
33.3%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 2Muda wa majibu (wastani)1.19sMuda wa majibu (upeo)1.97sMuda wa majibu (jumla)3.56sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
5.2Wastani wa alama katika majaribio yote ya benchmark.…
8.6Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 3Muda wa majibu (wastani)219.15sMuda wa majibu (upeo)259.22sMuda wa majibu (jumla)657.45sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
219.15sMuda wa majibu (wastani)…
6,110Jumla ya tokeni za ingizo…
135Tokeni za matokeo…
96,407Tokeni za hoja…
Mchanganyiko
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
3.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Mwito wa zana si sahihi: 1Jibu lisilo sahihi: 1Muda wa majibu (wastani)24.10sMuda wa majibu (upeo)44.76sMuda wa majibu (jumla)48.21sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
2.9Wastani wa alama katika majaribio yote ya benchmark.…
5.8Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
16.7%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
1Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 2Muda wa majibu (wastani)139.43sMuda wa majibu (upeo)171.85sMuda wa majibu (jumla)278.85sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
139.43sMuda wa majibu (wastani)…
28,254Jumla ya tokeni za ingizo…
2,485Tokeni za matokeo…
8,420Tokeni za hoja…
Uchanganuzi na uchimbaji wa data
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
6.5Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
50.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)1.14sMuda wa majibu (upeo)1.18sMuda wa majibu (jumla)2.27sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
8.7Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
50.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 1Muda wa majibu (wastani)88.53sMuda wa majibu (upeo)120.56sMuda wa majibu (jumla)177.06sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
88.53sMuda wa majibu (wastani)…
7,197Jumla ya tokeni za ingizo…
195Tokeni za matokeo…
18,424Tokeni za hoja…
Mahususi kwa domeni
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
7.7Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
66.7%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)552msMuda wa majibu (upeo)675msMuda wa majibu (jumla)1.66sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
4.5Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 2Hitilafu ya API: 1Muda wa majibu (wastani)470.24sMuda wa majibu (upeo)547.52sMuda wa majibu (jumla)1410.71sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
470.24sMuda wa majibu (wastani)…
716Jumla ya tokeni za ingizo…
28Tokeni za matokeo…
220,446Tokeni za hoja…
Akili ya jumla
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
4.2Wastani wa alama katika majaribio yote ya benchmark.…
9.9Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)1.31sMuda wa majibu (upeo)1.31sMuda wa majibu (jumla)1.31sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
7.5Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 1Muda wa majibu (wastani)110.43sMuda wa majibu (upeo)110.43sMuda wa majibu (jumla)110.43sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
110.43sMuda wa majibu (wastani)…
525Jumla ya tokeni za ingizo…
170Tokeni za matokeo…
13,806Tokeni za hoja…
Ufuataji wa maagizo
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
6.3Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
50.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)582msMuda wa majibu (upeo)633msMuda wa majibu (jumla)1.16sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
9.8Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)77.72sMuda wa majibu (upeo)91.04sMuda wa majibu (jumla)155.43sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
77.72sMuda wa majibu (wastani)…
732Jumla ya tokeni za ingizo…
71Tokeni za matokeo…
17,054Tokeni za hoja…
Utatuzi wa mafumbo
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
6.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
33.3%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakufuata maelekezo: 1Jibu lisilo sahihi: 1Muda wa majibu (wastani)1.25sMuda wa majibu (upeo)1.84sMuda wa majibu (jumla)3.76sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
5.3Wastani wa alama katika majaribio yote ya benchmark.…
5.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
33.3%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
2Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 1Hakufuata maelekezo: 1Jibu lisilo sahihi: 1Muda wa majibu (wastani)238.03sMuda wa majibu (upeo)373.63sMuda wa majibu (jumla)714.10sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
238.03sMuda wa majibu (wastani)…
750Jumla ya tokeni za ingizo…
454Tokeni za matokeo…
103,707Tokeni za hoja…
Mwito wa zana
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)2.75sMuda wa majibu (upeo)2.75sMuda wa majibu (jumla)2.75sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
3.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hitilafu ya API: 1Muda wa majibu (wastani)93.67sMuda wa majibu (upeo)93.67sMuda wa majibu (jumla)93.67sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
93.67sMuda wa majibu (wastani)…
0Jumla ya tokeni za ingizo…
0Tokeni za matokeo…
0Tokeni za hoja…
Maarifa ya jumla
Alama
Uthabiti
Kiwango cha kupita kwa kila jaribio
Majaribio yasiyo thabiti
Majaribio sahihi
Muda wa majibu (wastani)
Tokeni za ingizo
Tokeni za matokeo
Tokeni za hoja
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
3.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)703msMuda wa majibu (upeo)703msMuda wa majibu (jumla)703msJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
3.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna jibu: 1Muda wa majibu (wastani)597.45sMuda wa majibu (upeo)597.45sMuda wa majibu (jumla)597.45sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…