AI BENCHY Compare

Inception: Mercury 2 vs Owl Alpha

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-06-03

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Owl Alpha Owl Alpha medium Rilis: 2026-04-30

Metrik	Mercury 2 Mercury 2 none Rilis: 2026-02-24	Owl Alpha Owl Alpha medium Rilis: 2026-04-30
Skor	4.6	5.8
Peringkat	#153	#107
Keandalan	10.0	10.0
Konsistensi	9.1	9.6
Tes benar
Tingkat lulus per percobaan	25.0%	41.7%
Tes tidak stabil	2	1
Total Run	60	60
Biaya per hasil	0.216	0.000
Total Biaya	$0.009	$0.000
Harga input	$0.250 / 1M	$0.000 / 1M
Harga output	$0.750 / 1M	$0.000 / 1M
Total token input	25,515	40,601
Token output	3,001	2,965
Token penalaran	0	0
Waktu respons (rata-rata)	614ms	11.64s
Waktu respons (maks)	1.27s	58.63s
Waktu respons (total)	12.28s	232.83s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor vs Waktu respons (rata-rata)

Total token output

Skor vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		483ms	631	286	0
Owl Alpha	4.8	10.0	25.0%	0		3.97s	1,596	87	0

Pemrograman	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.5	9.4	0.0%	0		831ms	4,631	1,650	0
Owl Alpha	6.6	10.0	50.0%	0		19.08s	3,872	1,754	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		606ms	4,821	131	0
Owl Alpha	3.0	10.0	0.0%	0		10.01s	14,259	315	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	7.3	5.9	83.3%	1		667ms	6,362	180	0
Owl Alpha	10.0	10.0	100.0%	0		21.64s	8,157	246	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	5.3	7.2	44.4%	1		534ms	784	46	0
Owl Alpha	5.3	10.0	33.3%	0		8.58s	1,458	28	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	4.8	10.0	0.0%	0		628ms	495	159	0
Owl Alpha	4.3	10.0	0.0%	0		58.63s	732	98	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	6.5	10.0	50.0%	0		551ms	691	82	0
Owl Alpha	6.5	10.0	50.0%	0		10.15s	1,161	57	0

Pemecahan teka-teki	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.1	10.0	0.0%	0		535ms	694	251	0
Owl Alpha	5.3	7.2	44.4%	1		3.40s	1,392	135	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	10.0	10.0	100.0%	0		1.27s	6,193	197	0
Owl Alpha	10.0	10.0	100.0%	0		8.26s	7,524	228	0

Pengetahuan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token input	Token output	Token penalaran
Mercury 2	3.0	10.0	0.0%	0		548ms	213	19	0
Owl Alpha	3.0	10.0	0.0%	0		2.38s	450	17	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

Owl AlphamediumvsGLM 5.1none DeepSeek V4 PrononevsOwl Alphamedium Owl AlphamediumvsQwen3.5 Plus 2026-04-20none Seed-2.0-LitenonevsOwl Alphamedium Owl AlphamediumvsQwen3.5-35B-A3Bnone Owl AlphamediumvsGLM 5V Turbonone Owl AlphamediumvsQwen3.5-27Bnone Owl AlphamediumvsQwen3.6 27Bnone Owl AlphamediumvsQwen3.5-Flashnone Mercury 2nonevsQwen3 Coder Nextmedium Owl AlphamediumvsMimo V2 PROnone Mercury 2nonevsGLM 4.7 Flashmedium