AI BENCHY Compare
Google: Gemini 3.1 Pro Preview vs OpenAI: GPT-5.4
Bandingkan:
Benchmark dihasilkan dari suite pengujian AI BENCHY pada: 2026-03-05
| Metrik | Google: Gemini 3.1 Pro Preview medium Rilis: 2026-02-19 | OpenAI: GPT-5.4 none Rilis: 2026-03-05 |
|---|---|---|
| Peringkat | #2 | #44 |
| Skor Rata-rata | 9.3 | 4.6 |
| Tes benar | ||
| Konsistensi | 10.0 | 8.9 |
| Biaya per hasil | 3.544 | 1.496 |
| Total Biaya | $0.497 | $0.090 |
| Tingkat lulus per percobaan | 93.3% | 44.4% |
| Tes tidak stabil | 0 | 2 |
| common.totalAttempts | 45 (15 x 3) | 45 (15 x 3) |
| Token output | 1,413 | 1,635 |
| Token penalaran | 34,477 | 0 |
| Waktu respons (rata-rata) | 17.20s | 1.46s |
| Waktu respons (maks) | 40.61s | 2.89s |
| Waktu respons (total) | 137.59s | 21.86s |
Waktu respons (rata-rata)
Skor vs Total Biaya
Skor Rata-rata vs Waktu respons (rata-rata)
Rincian Kategori
| Trik anti-AI | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 10.0 | 10.0 | 100.0% | 0 | 9.52s | 106 | 2,533 | |
| OpenAI: GPT-5.4 | 10.0 | 7.3 | 11.1% | 1 | 1.41s | 388 | 0 |
| Gabungan | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 9.0 | 10.0 | 100.0% | 0 | 40.61s | 432 | 9,281 | |
| OpenAI: GPT-5.4 | 10.0 | 10.0 | 0.0% | 0 | 2.89s | 291 | 0 |
| Parsing dan ekstraksi data | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 9.9 | 10.0 | 100.0% | 0 | 7.72s | 279 | 3,904 | |
| OpenAI: GPT-5.4 | 9.9 | 10.0 | 100.0% | 0 | 1.04s | 222 | 0 |
| Spesifik domain | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 7.0 | 10.0 | 66.7% | 0 | 32.73s | 18 | 12,424 | |
| OpenAI: GPT-5.4 | 4.0 | 7.2 | 44.4% | 1 | 1.07s | 50 | 0 |
| Kepatuhan instruksi | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 10.0 | 10.0 | 100.0% | 0 | 9.56s | 72 | 2,236 | |
| OpenAI: GPT-5.4 | 5.5 | 10.0 | 50.0% | 0 | 1.07s | 81 | 0 |
| Puzzle Solving | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 10.0 | 10.0 | 100.0% | 0 | 7.15s | 232 | 3,117 | |
| OpenAI: GPT-5.4 | 4.0 | 9.8 | 33.3% | 0 | 1.52s | 357 | 0 |
| Pemanggilan alat | Skor | Konsistensi | Tingkat lulus per percobaan | Tes tidak stabil | Tes benar | Waktu respons (rata-rata) | Token output | Token penalaran |
|---|---|---|---|---|---|---|---|---|
| Google: Gemini 3.1 Pro Preview | 10.0 | 10.0 | 100.0% | 0 | 23.15s | 274 | 982 | |
| OpenAI: GPT-5.4 | 10.0 | 10.0 | 100.0% | 0 | 2.75s | 246 | 0 |
Perbandingan Cepat
Ganti Pasangan Perbandingan
MiniMax M2.5mediumvsGPT-5.4noneMercury 2mediumvsGPT-5.4noneGPT-5.4nonevsQwen3.5-35B-A3BmediumGPT-5.4nonevsQwen3 Coder NextmediumGPT-5.4nonevsGLM 4.7 FlashmediumGemini 3.1 Pro PreviewmediumvsGPT-5.2 ChatnoneClaude Opus 4.6mediumvsGPT-5.4noneKimi K2.5mediumvsGPT-5.4noneGPT-5.4nonevsGrok 4.1 FastmediumGemini 3.1 Pro PreviewmediumvsGPT-5.3 ChatnoneGPT-5.4nonevsQwen3.5-FlashmediumSeed-2.0-MinimediumvsGPT-5.4none