AI BENCHY
Advertise here
#11

Qwen3.5-27B

Qwen Releasedatum: 2026-02-24 Getest op: 2026-04-11 01:44 qwen/qwen3.5-27b::medium
27BDichtOpen-source
(medium) (none)

Samenvatting

Qwen3.5-27B scoort 8.4 op AI BENCHY en staat op #11. Het model heeft n.v.t. betrouwbaarheid, een slagingspercentage van 81.5%, $0.497 totale kosten en 53.03s gemiddelde responstijd.

Modelgegevens

Onderzocht op 2026-08-12

Gerapporteerd
Parameters
27B
Architectuur
Dicht
Beschikbaarheid
Open-source
Licentie
Apache-2.0

Score

8.4

Consistentie

8.8

Betrouwbaarheid

n.v.t.

Totaal aantal uitvoer-tokens

245,000

Totaal aantal invoer-tokens

0

Invoerprijs

$0.195 / 1M

Uitvoerprijs

$1.560 / 1M

Correcte tests

Foute tests: 5

Slaagpercentage per poging: 81.5%

Instabiele tests

3

Instabiele tests hadden gemengde uitkomsten over runs (minstens één geslaagd en één gefaald).

Responstijd (gem.)

53.03s

Responstijd (max): 163.96s

Responstijd (totaal): 954.46s

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#11 Qwen3.5-27B

medium
Kosten
$0.008
Tijd
62.0s
Tokens
3,099 tok

Rungeschiedenis

Getest op Score Betrouwbaarheid Correcte tests Totale kosten Vergelijken
2026-08-14 01:58 Hertest 7.5 10.0 $0.982 Vergelijken
2026-07-16 22:51 Nieuwe test toegevoegd 7.4 10.0 $0.981 Vergelijken
2026-06-04 13:40 Nieuwe test toegevoegd 7.8 10.0 $0.536 Vergelijken
2026-05-22 00:04 Suite gewijzigd 7.9 10.0 $0.607 Vergelijken
2026-04-11 01:44 Eerste geregistreerde run 8.4 n.v.t. $0.497 Huidige run

Runvergelijking

RunBenchmarkdekkingScoreConsistentieBetrouwbaarheidCorrecte testsInstabiele testsTotaal aantal uitvoer-tokensTotaal aantal invoer-tokensTotale kostenResponstijd (gem.)
2026-04-11 01:44 · Eerste geregistreerde run54/54 pogingen8.48.8n.v.t.13/183245,0000$0.49753.03s
2026-06-04 13:40 · Nieuwe test toegevoegd63/63 pogingen7.88.510.013/214337,82342,164$0.53668.39s
Verschil+0.7+0.30-1-92823-42164-$0.039-15367ms

De benchmarkdekking verschilt: 54/54 pogingen (Doel: 3 herhalingen per test) tegenover 63/63 pogingen (Doel: 3 herhalingen per test). Totalen en herhalingsgevoelige statistieken zijn niet direct vergelijkbaar.

Deze twee runs gebruikten verschillende benchmarksets, dus de verschillen weerspiegelen zowel modelveranderingen als suitewijzigingen.

Grafieken

Kies eerst het eerste model en klik daarna op een tweede model om een zij-aan-zijpagina te openen.

Totaal aantal uitvoer-tokens

Score vs Totaal aantal uitvoer-tokens

Snelle vergelijking

Categorie-uitsplitsing

Categorie Score Consistentie Correcte tests
Anti-AI-trucs 8.7 7.9
Programmeren 10.0 10.0
Gecombineerd 10.0 10.0
Gegevensparsering en extractie 10.0 10.0
Domeinspecifiek 5.3 10.0
Algemene intelligentie 6.1 3.1
Instructies opvolgen 10.0 10.0
Puzzeloplossing 8.2 7.7
Toolaanroepen 10.0 10.0

Vergeleken modellen