Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-05-22
Metrik
LFM2-24B-A2BLFM2-24B-A2BnoneModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.Rilis: 2026-02-24
Hy3 previewHy3 previewhighModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.Rilis: 2026-04-22
Metrik
LFM2-24B-A2BLFM2-24B-A2BnoneModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.Rilis: 2026-02-24
Hy3 previewHy3 previewhighModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.Rilis: 2026-04-22
Skor
4.2Skor rata-rata di semua tes benchmark.…
8.0Skor rata-rata di semua tes benchmark.…
Peringkat
#152
#22
Keandalan
T/ASkor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
10.0Skor sukses percobaan pertama: 10.0 berarti tidak ada kegagalan API target atau batas laju yang dapat dicoba ulang sebelum panggilan berhasil; kegagalan yang tercatat menurunkan skor.…
Konsistensi
9.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
9.5Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
Tes benar
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 8Kesalahan API: 4Tidak mengikuti instruksi: 2Waktu respons (rata-rata)811msWaktu respons (maks)2.88sWaktu respons (total)11.35sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 3Kesalahan API: 1Waktu respons (rata-rata)56.77sWaktu respons (maks)149.94sWaktu respons (total)851.49sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
Tingkat lulus per percobaan
18.8%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
77.1%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
Tes tidak stabil
2Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Total Run
48Total Run…
60Total Run…
Biaya per hasil
0.024Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
0.000Menampilkan biaya rata-rata per jawaban benchmark yang benar dalam sen (semakin rendah semakin baik).…
Total Biaya
$0.001Total Biaya…
$0.000Total Biaya…
Harga input
$0.030 / 1MHarga input…
$0.066 / 1MHarga input…
Harga output
$0.120 / 1MHarga output…
$0.260 / 1MHarga output…
Token output
1,185Token output…
216,503Token output…
Token penalaran
0Token penalaran…
0Token penalaran…
Waktu respons (rata-rata)
811msWaktu respons (rata-rata)…
56.77sWaktu respons (rata-rata)…
Waktu respons (maks)
2.88sWaktu respons (maks)…
149.94sWaktu respons (maks)…
Waktu respons (total)
11.35sWaktu respons (total)…
851.49sWaktu respons (total)…
Model teratas berdasarkan skor
Skor vs Total Biaya
Waktu respons (rata-rata)
Skor vs Waktu respons (rata-rata)
Total token output
Skor vs Total token output
Rincian Kategori
Trik anti-AI
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.3Skor rata-rata di semua tes benchmark.…
9.8Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 3Waktu respons (rata-rata)471msWaktu respons (maks)872msWaktu respons (total)1.41sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
471msWaktu respons (rata-rata)…
490Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
8.9Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)15.12sWaktu respons (maks)19.99sWaktu respons (total)45.37sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
15.12sWaktu respons (rata-rata)…
6,839Token output…
0Token penalaran…
Gabungan
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Kesalahan API: 1Waktu respons (rata-rata)0msWaktu respons (maks)0msWaktu respons (total)0msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
0msWaktu respons (rata-rata)…
0Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)113.09sWaktu respons (maks)113.09sWaktu respons (total)113.09sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
113.09sWaktu respons (rata-rata)…
31,319Token output…
0Token penalaran…
Parsing dan ekstraksi data
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Waktu respons (rata-rata)714msWaktu respons (maks)987msWaktu respons (total)1.43sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
714msWaktu respons (rata-rata)…
219Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
6.5Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
50.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Kesalahan API: 1Waktu respons (rata-rata)12.11sWaktu respons (maks)12.11sWaktu respons (total)12.11sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
12.11sWaktu respons (rata-rata)…
4,323Token output…
0Token penalaran…
Spesifik domain
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
5.9Skor rata-rata di semua tes benchmark.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
55.6%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Kesalahan API: 1Jawaban salah: 1Waktu respons (rata-rata)287msWaktu respons (maks)334msWaktu respons (total)860msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
287msWaktu respons (rata-rata)…
30Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
5.3Skor rata-rata di semua tes benchmark.…
7.2Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
44.4%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 2Waktu respons (rata-rata)109.04sWaktu respons (maks)149.94sWaktu respons (total)327.11sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
109.04sWaktu respons (rata-rata)…
87,559Token output…
0Token penalaran…
Kecerdasan umum
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
4.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak mengikuti instruksi: 1Waktu respons (rata-rata)395msWaktu respons (maks)395msWaktu respons (total)395msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
395msWaktu respons (rata-rata)…
72Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
0.0Skor rata-rata di semua tes benchmark.…
0.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)0msWaktu respons (maks)0msWaktu respons (total)0msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
0msWaktu respons (rata-rata)…
0Token output…
0Token penalaran…
Kepatuhan instruksi
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
6.3Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
50.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)1.09sWaktu respons (maks)1.90sWaktu respons (total)2.18sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.09sWaktu respons (rata-rata)…
60Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
9.9Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)34.02sWaktu respons (maks)41.83sWaktu respons (total)68.04sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
34.02sWaktu respons (rata-rata)…
13,331Token output…
0Token penalaran…
Pemecahan teka-teki
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.7Skor rata-rata di semua tes benchmark.…
7.7Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
11.1%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
1Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Kesalahan API: 1Tidak mengikuti instruksi: 1Jawaban salah: 1Waktu respons (rata-rata)1.69sWaktu respons (maks)2.88sWaktu respons (total)5.08sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
1.69sWaktu respons (rata-rata)…
314Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)29.74sWaktu respons (maks)45.06sWaktu respons (total)59.48sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
29.74sWaktu respons (rata-rata)…
15,503Token output…
0Token penalaran…
Pemanggilan alat
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Kesalahan API: 1Waktu respons (rata-rata)0msWaktu respons (maks)0msWaktu respons (total)0msTes dianggap lulus penuh hanya jika semua run-nya lulus.…
0msWaktu respons (rata-rata)…
0Token output…
0Token penalaran…
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)78.83sWaktu respons (maks)78.83sWaktu respons (total)78.83sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
78.83sWaktu respons (rata-rata)…
10,370Token output…
0Token penalaran…
Pemrograman
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
-
-
-
-
-
-
-
-
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
10.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
100.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Tidak ada jawaban gagal.Waktu respons (rata-rata)99.76sWaktu respons (maks)99.76sWaktu respons (total)99.76sTes dianggap lulus penuh hanya jika semua run-nya lulus.…
99.76sWaktu respons (rata-rata)…
38,167Token output…
0Token penalaran…
Pengetahuan umum
Skor
Konsistensi
Tingkat lulus per percobaan
Tes tidak stabil
Tes benar
Waktu respons (rata-rata)
Token output
Token penalaran
LFM2-24B-A2BModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
-
-
-
-
-
-
-
-
Hy3 previewModel diarsipkan: model ini tidak lagi diperbarui atau diuji pada pengujian baru.
3.0Skor rata-rata di semua tes benchmark.…
10.0Skor konsistensi mencerminkan kestabilan antar run (10 = sangat konsisten, bahkan jika konsisten salah).…
0.0%Tingkat lulus per percobaan = percobaan lulus / total percobaan di semua run.…
0Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).…
Tes dianggap lulus penuh hanya jika semua run-nya lulus.Jawaban salah: 1Waktu respons (rata-rata)47.71sWaktu respons (maks)47.71sWaktu respons (total)47.71sTes dianggap lulus penuh hanya jika semua run-nya lulus.…