average score iko karibu sawa: 8.4 vs 8.4. GPT-6 Sol (low) ina gharama ya chini ya benchmark: $0.273 vs ~$0.287. GPT-6 Sol (low) ni ya haraka zaidi: 6.92s vs 167.89s, na pass rates 86.4% vs 77.3%.
Benchmark zimetengenezwa kutoka seti za majaribio za AI BENCHY tarehe:
2026-09-23
Modeli zilizolinganishwa
Nafasi
#68
Jumla ya tokeni za matokeo
11,677
Muda wa majibu (wastani)
6.92s
Jumla ya gharama
$0.273
Majibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
Nafasi
#65
Jumla ya tokeni za matokeo
656,635
Muda wa majibu (wastani)
167.89s
Jumla ya gharama
~$0.287Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 2.8999 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.286715.
Muundo unaopendekezwaGPT-6 Sol (low)
It has the best score here (8.4), while responding about 24.3x faster than Qwen3.8 27B (high).
Qwen3.8 27BQwen3.8 27BhighMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.Toleo: 2026-08-14
Alama
8.4Wastani wa alama katika majaribio yote ya benchmark.…
8.4Wastani wa alama katika majaribio yote ya benchmark.…
Nafasi
#68
#65
Uaminifu
10.0Alama ya mafanikio ya jaribio la kwanza: 10.0 humaanisha hakuna hitilafu za API lengwa au kikomo cha kasi zinazoweza kujaribiwa tena kabla ya miito iliyofanikiwa; hitilafu zilizorekodiwa hushusha alama.…
9.6Alama ya mafanikio ya jaribio la kwanza: 10.0 humaanisha hakuna hitilafu za API lengwa au kikomo cha kasi zinazoweza kujaribiwa tena kabla ya miito iliyofanikiwa; hitilafu zilizorekodiwa hushusha alama.…
Uthabiti
8.5Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
9.2Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
Majaribio
66/66
66/66
Majaribio sahihi
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 5Muda wa majibu (wastani)6.92sMuda wa majibu (upeo)17.91sMuda wa majibu (jumla)152.17sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakufuata maelekezo: 2Hakuna jibu: 2Jibu lisilo sahihi: 2Muda wa majibu (wastani)167.89sMuda wa majibu (upeo)640.85sMuda wa majibu (jumla)3693.54sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
Kiwango cha kupita kwa kila jaribio
86.4%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
77.3%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
Majaribio yasiyo thabiti
4Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
2Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jumla ya uendeshaji
66Jumla ya uendeshaji…
66Jumla ya uendeshaji…
Gharama kwa matokeo
1.604
~1.792Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 2.8999 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.286715.
Jumla ya gharama
$0.273
~$0.287Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 2.8999 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.286715.
Bei ya ingizo
$2.000 / 1MBei ya ingizo…
HaipoBei ya ingizo…
Bei ya toleo
$10.000 / 1MBei ya toleo…
HaipoBei ya toleo…
Jumla ya tokeni za ingizo
77,882Jumla ya tokeni za ingizo…
100,179Jumla ya tokeni za ingizo…
Tokeni za matokeo
4,047Tokeni za matokeo…
904Tokeni za matokeo…
Tokeni za hoja
7,630Tokeni za hoja…
655,731Tokeni za hoja…
Muda wa majibu (wastani)
6.92sMuda wa majibu (wastani)…
167.89sMuda wa majibu (wastani)…
Muda wa majibu (upeo)
17.91sMuda wa majibu (upeo)…
640.85sMuda wa majibu (upeo)…
Muda wa majibu (jumla)
152.17sMuda wa majibu (jumla)…
3693.54sMuda wa majibu (jumla)…
Vigezo
~2T jumla (~150B vinavyotumika)
27.3B
Upatikanaji
Imefungwa
Uzani unapatikana
Onyesho la kizazi cha modeli
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#68 GPT-6 Sol
low
Gharama
$0.018
Muda
17.4s
Tokeni
1,850 tok
#65 Qwen3.8 27B
highMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
Gharama
~$0.008Makadirio yanahusu umeme wa GPU pekee. Hayajumuishi sehemu nyingine za kompyuta wala gharama ya kununua maunzi. NVIDIA GeForce RTX 3090: 0.0750 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.007419.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)2.43sMuda wa majibu (upeo)3.18sMuda wa majibu (jumla)9.74sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
2.43sMuda wa majibu (wastani)…
606Jumla ya tokeni za ingizo…
172Tokeni za matokeo…
339Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)8.10sMuda wa majibu (upeo)21.48sMuda wa majibu (jumla)32.40sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
6.2Wastani wa alama katika majaribio yote ya benchmark.…
4.8Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
66.7%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
2Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 2Muda wa majibu (wastani)8.74sMuda wa majibu (upeo)16.82sMuda wa majibu (jumla)26.23sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
8.74sMuda wa majibu (wastani)…
7,302Jumla ya tokeni za ingizo…
405Tokeni za matokeo…
1,296Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
8.1Wastani wa alama katika majaribio yote ya benchmark.…
7.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
88.9%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
1Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakufuata maelekezo: 1Muda wa majibu (wastani)248.62sMuda wa majibu (upeo)458.25sMuda wa majibu (jumla)745.85sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)8.13sMuda wa majibu (upeo)9.76sMuda wa majibu (jumla)16.26sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
8.13sMuda wa majibu (wastani)…
54,674Jumla ya tokeni za ingizo…
2,524Tokeni za matokeo…
512Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)185.57sMuda wa majibu (upeo)333.21sMuda wa majibu (jumla)371.15sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)13.63sMuda wa majibu (upeo)14.86sMuda wa majibu (jumla)27.26sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
13.63sMuda wa majibu (wastani)…
7,140Jumla ya tokeni za ingizo…
224Tokeni za matokeo…
17Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)34.85sMuda wa majibu (upeo)57.71sMuda wa majibu (jumla)69.71sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
5.3Wastani wa alama katika majaribio yote ya benchmark.…
7.2Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
44.4%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
1Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 2Muda wa majibu (wastani)11.45sMuda wa majibu (upeo)16.44sMuda wa majibu (jumla)34.36sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
11.45sMuda wa majibu (wastani)…
732Jumla ya tokeni za ingizo…
71Tokeni za matokeo…
4,573Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
5.3Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
33.3%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna jibu: 1Jibu lisilo sahihi: 1Muda wa majibu (wastani)526.74sMuda wa majibu (upeo)640.85sMuda wa majibu (jumla)1580.21sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)17.91sMuda wa majibu (upeo)17.91sMuda wa majibu (jumla)17.91sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
17.91sMuda wa majibu (wastani)…
477Jumla ya tokeni za ingizo…
83Tokeni za matokeo…
0Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
5.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakufuata maelekezo: 1Muda wa majibu (wastani)8.45sMuda wa majibu (upeo)8.45sMuda wa majibu (jumla)8.45sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)2.37sMuda wa majibu (upeo)2.57sMuda wa majibu (jumla)4.75sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
2.37sMuda wa majibu (wastani)…
660Jumla ya tokeni za ingizo…
93Tokeni za matokeo…
185Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
9.8Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)8.24sMuda wa majibu (upeo)10.18sMuda wa majibu (jumla)16.49sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)2.66sMuda wa majibu (upeo)3.06sMuda wa majibu (jumla)7.97sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
2.66sMuda wa majibu (wastani)…
642Jumla ya tokeni za ingizo…
209Tokeni za matokeo…
314Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
7.6Wastani wa alama katika majaribio yote ya benchmark.…
7.2Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
77.8%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
1Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna jibu: 1Muda wa majibu (wastani)199.90sMuda wa majibu (upeo)569.33sMuda wa majibu (jumla)599.69sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)4.03sMuda wa majibu (upeo)4.03sMuda wa majibu (jumla)4.03sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
4.03sMuda wa majibu (wastani)…
5,454Jumla ya tokeni za ingizo…
236Tokeni za matokeo…
16Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
10.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
100.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Hakuna majibu yaliyoshindwa.Muda wa majibu (wastani)5.62sMuda wa majibu (upeo)5.62sMuda wa majibu (jumla)5.62sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
4.7Wastani wa alama katika majaribio yote ya benchmark.…
1.6Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
66.7%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
1Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)3.67sMuda wa majibu (upeo)3.67sMuda wa majibu (jumla)3.67sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…
3.67sMuda wa majibu (wastani)…
195Jumla ya tokeni za ingizo…
30Tokeni za matokeo…
378Tokeni za hoja…
Qwen3.8 27BMajibu ya modeli iliyopimwa yalitolewa kwenye maunzi ya ndani. OpenRouter ilitumika kwa tathmini pekee.
3.0Wastani wa alama katika majaribio yote ya benchmark.…
10.0Alama ya uthabiti inaonyesha utulivu kati ya run (10 = thabiti sana, hata ikiwa ni makosa mfululizo).…
0.0%Kiwango cha kupita kwa kila jaribio = majaribio yaliyopita / jumla ya majaribio katika run zote.…
0Majaribio yasiyo thabiti yalikuwa na matokeo mchanganyiko kati ya run (angalau kupita moja na kufeli moja).…
Jaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.Jibu lisilo sahihi: 1Muda wa majibu (wastani)263.98sMuda wa majibu (upeo)263.98sMuda wa majibu (jumla)263.98sJaribio huhesabiwa kuwa limepita kikamilifu tu ikiwa run zake zote zimepita.…