Perbandingan benchmark Claude Haiku 5.5 (xhigh) vs Claude Opus 5.5 (high) vs Qwen3.8 27B (high):Claude Opus 5.5 (high) unggul pada Skor dengan 9.4. Claude Haiku 5.5 (xhigh) unggul pada Keandalan dengan 10.0. Claude Haiku 5.5 (xhigh) memiliki Total Biaya terendah di $0.140. Claude Haiku 5.5 (xhigh) paling cepat di 16.58s.
Benchmark dihasilkan dari suite pengujian AI BENCHY pada:
2026-10-07
Model yang Dibandingkan
Peringkat
#35
Total token output
199,268
Waktu respons (rata-rata)
16.58s
Total Biaya
$0.140
Peringkat
#24
Total token output
42,782
Waktu respons (rata-rata)
27.55s
Total Biaya
$2.133
Jawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
Peringkat
#56
Total token output
677,080
Waktu respons (rata-rata)
166.34s
Total Biaya
~$0.298Perkiraan hanya mencakup listrik GPU. Komponen komputer lain dan biaya kepemilikan perangkat keras tidak termasuk. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
Model yang direkomendasikanClaude Haiku 5.5 (xhigh)
Its score stays close to the best score here (9.1 vs 9.4), while costing about 8.7x less than model lain dalam perbandingan ini.
Qwen3.8 27BQwen3.8 27BhighJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.Rilis: 2026-08-14Tersedia gratis
Qwen3.8 27BQwen3.8 27BhighJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.Rilis: 2026-08-14Tersedia gratis
Skor
9.1Skor rata-rata di semua tes benchmark.…
9.4Skor rata-rata di semua tes benchmark.…
8.7Skor rata-rata di semua tes benchmark.…
Peringkat
#35
#24
#56
Keandalan
10.0Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
10.0Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
9.7Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
Konsistensi
9.3Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
9.3Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
9.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Tidak mengikuti instruksi: 1Tidak ada jawaban: 1Waktu respons (rata-rata)27.55sWaktu respons (maks)95.95sWaktu respons (total)633.73sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 2Tidak ada jawaban: 2Jawaban salah: 2Waktu respons (rata-rata)166.34sWaktu respons (maks)640.85sWaktu respons (total)3825.81sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tingkat lulus per percobaan
81.2%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
87.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
78.3%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
Tes tidak stabil
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Total Run
69Total Run…
69Total Run…
69Total Run…
Biaya per hasil
0.773
11.222
~1.751Perkiraan hanya mencakup listrik GPU. Komponen komputer lain dan biaya kepemilikan perangkat keras tidak termasuk. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
Total Biaya
$0.140
$2.133
~$0.298Perkiraan hanya mencakup listrik GPU. Komponen komputer lain dan biaya kepemilikan perangkat keras tidak termasuk. NVIDIA GeForce RTX 3090: 3.0102 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.297613.
Harga input
$0.100 / 1MHarga input…
$4.000 / 1MHarga input…
T/AHarga input…
Harga output
$0.500 / 1MHarga output…
$20.000 / 1MHarga output…
T/AHarga output…
Harga baca cache
$0.010 / 1MHarga baca cache…
$0.200 / 1MHarga baca cache…
T/AHarga baca cache…
Harga tulis cache
$0.125 / 1MHarga tulis cache…
$5.000 / 1MHarga tulis cache…
T/AHarga tulis cache…
Total token input
394,509Total token input…
319,095Total token input…
348,967Total token input…
Token output
10,349Token output…
10,371Token output…
1,005Token output…
Token penalaran
188,919Token penalaran…
32,411Token penalaran…
676,075Token penalaran…
Waktu respons (rata-rata)
16.58sWaktu respons (rata-rata)…
27.55sWaktu respons (rata-rata)…
166.34sWaktu respons (rata-rata)…
Waktu respons (maks)
92.74sWaktu respons (maks)…
95.95sWaktu respons (maks)…
640.85sWaktu respons (maks)…
Waktu respons (total)
381.40sWaktu respons (total)…
633.73sWaktu respons (total)…
3825.81sWaktu respons (total)…
Parameter
~50B
~5T total (~500B aktif)
27.3B
Ketersediaan
Tertutup
Tertutup
Bobot tersedia
Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.
Showcase generasi model
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
#35 Claude Haiku 5.5
xhigh
Biaya
$0.021
Waktu
189.0s
Token
41,343 tok
#24 Claude Opus 5.5
high
Biaya
$0.136
Waktu
75.6s
Token
6,934 tok
#56 Qwen3.8 27B
highJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
Biaya
~$0.008Perkiraan hanya mencakup listrik GPU. Komponen komputer lain dan biaya kepemilikan perangkat keras tidak termasuk. NVIDIA GeForce RTX 3090: 0.0750 h × 0.300 kW × €0.2896/kWh × 1.138 USD/EUR = ~$0.007419.
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)62.72sWaktu respons (maks)62.72sWaktu respons (total)62.72sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)64.41sWaktu respons (maks)64.41sWaktu respons (total)64.41sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
64.41sWaktu respons (rata-rata)…
185,075Total token input…
3,134Token output…
3,191Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)132.27sWaktu respons (maks)132.27sWaktu respons (total)132.27sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)2.88sWaktu respons (maks)3.40sWaktu respons (total)11.53sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)12.58sWaktu respons (maks)22.55sWaktu respons (total)50.32sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
12.58sWaktu respons (rata-rata)…
858Total token input…
313Token output…
683Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)8.10sWaktu respons (maks)21.48sWaktu respons (total)32.40sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)13.13sWaktu respons (maks)19.82sWaktu respons (total)39.38sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)13.44sWaktu respons (maks)23.69sWaktu respons (total)40.32sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
13.44sWaktu respons (rata-rata)…
10,608Total token input…
584Token output…
5,042Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
8.1Skor rata-rata di semua tes benchmark.…
7.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
88.9%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)248.62sWaktu respons (maks)458.25sWaktu respons (total)745.85sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)38.95sWaktu respons (maks)55.34sWaktu respons (total)77.89sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)60.05sWaktu respons (maks)95.95sWaktu respons (total)120.09sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
60.05sWaktu respons (rata-rata)…
96,745Total token input…
4,683Token output…
6,301Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)185.57sWaktu respons (maks)333.21sWaktu respons (total)371.15sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)3.65sWaktu respons (maks)3.86sWaktu respons (total)7.30sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)12.31sWaktu respons (maks)17.98sWaktu respons (total)24.63sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
12.31sWaktu respons (rata-rata)…
10,515Total token input…
312Token output…
355Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)34.85sWaktu respons (maks)57.71sWaktu respons (total)69.71sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
44.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Format tambahan: 1Jawaban salah: 1Waktu respons (rata-rata)47.83sWaktu respons (maks)92.74sWaktu respons (total)143.50sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
44.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Waktu respons (rata-rata)30.08sWaktu respons (maks)48.21sWaktu respons (total)90.25sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
30.08sWaktu respons (rata-rata)…
990Total token input…
58Token output…
14,458Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
5.3Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
33.3%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban: 1Jawaban salah: 1Waktu respons (rata-rata)526.74sWaktu respons (maks)640.85sWaktu respons (total)1580.21sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)9.80sWaktu respons (maks)9.80sWaktu respons (total)9.80sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)5.66sWaktu respons (maks)5.66sWaktu respons (total)5.66sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
5.66sWaktu respons (rata-rata)…
714Total token input…
283Token output…
352Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
5.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)8.45sWaktu respons (maks)8.45sWaktu respons (total)8.45sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)3.34sWaktu respons (maks)3.64sWaktu respons (total)6.68sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)21.35sWaktu respons (maks)23.43sWaktu respons (total)42.70sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
21.35sWaktu respons (rata-rata)…
921Total token input…
96Token output…
435Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
9.8Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)8.24sWaktu respons (maks)10.18sWaktu respons (total)16.49sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
77.8%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)3.80sWaktu respons (maks)5.83sWaktu respons (total)11.40sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
7.7Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
88.9%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)30.85sWaktu respons (maks)35.23sWaktu respons (total)92.54sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
30.85sWaktu respons (rata-rata)…
912Total token input…
496Token output…
605Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
7.6Skor rata-rata di semua tes benchmark.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
77.8%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban: 1Waktu respons (rata-rata)199.90sWaktu respons (maks)569.33sWaktu respons (total)599.69sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)6.42sWaktu respons (maks)6.42sWaktu respons (total)6.42sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)75.42sWaktu respons (maks)75.42sWaktu respons (total)75.42sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
75.42sWaktu respons (rata-rata)…
11,757Total token input…
412Token output…
989Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)5.62sWaktu respons (maks)5.62sWaktu respons (total)5.62sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban: 1Waktu respons (rata-rata)4.79sWaktu respons (maks)4.79sWaktu respons (total)4.79sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban: 1Waktu respons (rata-rata)27.41sWaktu respons (maks)27.41sWaktu respons (total)27.41sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
27.41sWaktu respons (rata-rata)…
0Total token input…
0Token output…
0Token penalaran…
Qwen3.8 27BJawaban model kandidat dibuat di perangkat keras lokal. OpenRouter hanya digunakan untuk penilaian. qwen3.8:latest · Q4_K_M · Ollama 0.32.12 · NVIDIA GeForce RTX 3090.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)263.98sWaktu respons (maks)263.98sWaktu respons (total)263.98sTes dianggap lulus penuh hanya jika semua run-nya lulus.…