AI BENCHY Compare

Qwen: Qwen3.5-35B-A3B vs xAI: Grok 4.20 Beta

Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-03-12

Metrik	Qwen3.5-35B-A3B Qwen3.5-35B-A3B none Rilis: 2026-02-24	Grok 4.20 Beta Grok 4.20 Beta none Rilis: 2026-03-12

Metrik	Qwen3.5-35B-A3B Qwen3.5-35B-A3B none Rilis: 2026-02-24	Grok 4.20 Beta Grok 4.20 Beta none Rilis: 2026-03-12
Peringkat	#48	#52
Skor Rata-rata	4.7	4.4
Konsistensi	8.6	9.1
Biaya per hasil	0.237	2.214
Total Biaya	$0.015	$0.089
Tes benar
Tingkat lulus per percobaan	50.0%	33.3%
Tes tidak stabil	3	2
Total Run	48	48
Token output	3,756	1,511
Token penalaran	0	0
Waktu respons (rata-rata)	4.10s	1.22s
Waktu respons (maks)	47.43s	6.48s
Waktu respons (total)	65.62s	19.53s

Model teratas berdasarkan skor

Skor vs Total Biaya

Waktu respons (rata-rata)

Skor Rata-rata vs Waktu respons (rata-rata)

Total token output

Skor Rata-rata vs Total token output

Rincian Kategori

Trik anti-AI	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	10.0	7.2	22.2%	1		1.76s	569	0
Grok 4.20 Beta	3.3	7.9	22.2%	1		562ms	245	0

Gabungan	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	10.0	10.0	0.0%	0		47.43s	1,833	0
Grok 4.20 Beta	10.0	10.0	0.0%	0		6.48s	282	0

Parsing dan ekstraksi data	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	9.9	10.0	100.0%	0		1.16s	243	0
Grok 4.20 Beta	9.9	10.0	100.0%	0		601ms	197	0

Spesifik domain	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	7.0	10.0	66.7%	0		485ms	15	0
Grok 4.20 Beta	10.0	10.0	0.0%	0		611ms	160	0

Kecerdasan umum	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	6.0	3.4	66.7%	1		1.19s	114	0
Grok 4.20 Beta	5.0	10.0	0.0%	0		541ms	87	0

Kepatuhan instruksi	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	5.0	10.0	50.0%	0		809ms	63	0
Grok 4.20 Beta	4.5	10.0	0.0%	0		687ms	60	0

Puzzle Solving	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	1.7	7.4	22.2%	1		1.34s	655	0
Grok 4.20 Beta	4.0	7.2	55.6%	1		541ms	291	0

Pemanggilan alat	Skor	Konsistensi	Tingkat lulus per percobaan	Tes tidak stabil	Tes benar	Waktu respons (rata-rata)	Token output	Token penalaran
Qwen3.5-35B-A3B	10.0	10.0	100.0%	0		2.30s	264	0
Grok 4.20 Beta	10.0	10.0	100.0%	0		4.79s	189	0

Perbandingan Cepat

Ganti Pasangan Perbandingan

MiniMax M2.5mediumvsQwen3.5-35B-A3Bnone Qwen3.5-35B-A3BnonevsGrok 4.20 Multi-Agent Betamedium MiniMax M2.5mediumvsGrok 4.20 Betanone gpt-oss-120bmediumTersedia gratisvsQwen3.5-35B-A3Bnone Mercury 2mediumvsQwen3.5-35B-A3Bnone gpt-oss-120bmediumTersedia gratisvsGrok 4.20 Betanone GPT-5 NanomediumvsQwen3.5-35B-A3Bnone Mercury 2mediumvsGrok 4.20 Betanone Qwen3 Coder NextmediumvsGrok 4.20 Betanone Nemotron 3 Super 120b A12bmediumTersedia gratisvsQwen3.5-35B-A3Bnone Qwen3.5-35B-A3BmediumvsGrok 4.20 Betanone GPT-5 NanomediumvsGrok 4.20 Betanone