#319 Step 3.5 Flash
medium- Biaya
- $0.008
- Waktu
- 277.1s
- Token
- 23,695 tok
Ringkasan
Step 3.5 Flash mendapat skor 5.4 di AI BENCHY dan berada di peringkat #319. Model ini memiliki reliabilitas 10.0, tingkat keberhasilan 49.3%, total biaya $0.105, dan waktu respons rata-rata 190.48s.
Yang membuat Step 3.5 Flash unik: Model ini paling menonjol di Trik anti-AI, dengan peringkat #1, sementara Tugas agen adalah area terlemahnya di #13.
Ditelaah pada 2026-08-12
5.4
Konsistensi
8.3
10.0
$0.105
Total token output
454,482
Total token input
139,086
Harga input
$0.100 / 1M
Harga output
$0.300 / 1M
Harga baca cache
T/A
Harga tulis cache
T/A
Harga cache berlaku untuk token input. Pembacaan memakai kembali prompt tersimpan; penulisan menyimpannya dan dapat menambah biaya. Token output menggunakan harga output.
Tes Salah: 12
Tingkat lulus per percobaan: 49.3%
Cakupan benchmark: 66/69 percobaan (Target: 3 pengulangan per tes)
Tes tidak stabil
3
Tes tidak stabil memiliki hasil campuran antar run (setidaknya satu lulus dan satu gagal).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
Riwayat run
| Diuji pada | Skor | Keandalan | Tes benar | Total Biaya | Bandingkan |
|---|---|---|---|---|---|
| 2026-10-01 02:07 Uji ulang | 5.4 | 10.0 | $0.105 | Run saat ini | |
| 2026-07-16 23:25 Tes baru ditambahkan | 6.0 | 9.2 | $0.108 ↑ | Bandingkan | |
| 2026-06-04 14:12 Tes baru ditambahkan | 7.2 | 8.9 | $0.070 ↑ | Bandingkan | |
| 2026-05-22 00:30 Suite berubah | 7.4 | 9.3 | $0.015 | Bandingkan | |
| 2026-05-08 15:30 Suite berubah | 7.6 | 10.0 | $0.011 | Bandingkan | |
| 2026-04-11 00:35 Run pertama yang tercatat | 7.9 | T/A | $0.000 | Bandingkan |
Run ini menggunakan suite benchmark yang berbeda. Perhatikan perubahan suite saat membaca pergerakan historis.
Perbandingan run
| Run | Cakupan benchmark | Skor | Konsistensi | Keandalan | Tes benar | Tes tidak stabil | Total token output | Total token input | Total Biaya | Waktu respons (rata-rata) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-10-01 02:07 · Run saat ini | 66/69 percobaan | 5.4 | 8.3 | 10.0 | 10/22 | 3 | 454,482 | 139,086 | $0.105 | 190.48s |
| 2026-07-16 23:25 · Tes baru ditambahkan | 63/63 percobaan | 6.0 | 9.0 | 9.2 | 11/21 | 1 | 402,554 | 65,707 | $0.108 | 174.22s |
| Selisih | — | -0.7 | -0.7 | +0.8 | -1 | +2 | +51928 | +73379 | -$0.003 | +16263ms |
Cakupan benchmark berbeda: 66/69 percobaan (Target: 3 pengulangan per tes) dibanding 63/63 percobaan (Target: 3 pengulangan per tes). Total dan metrik yang dipengaruhi pengulangan tidak dapat dibandingkan secara langsung.
Kedua run ini menggunakan suite benchmark yang berbeda, jadi selisihnya mencerminkan perubahan model sekaligus perubahan suite.
Pilih model pertama, lalu klik model kedua untuk membuka halaman berdampingan.
| Kategori | Skor | Konsistensi | Tes benar |
|---|---|---|---|
| Tugas agen | 2.8 | 1.6 | |
| Trik anti-AI | 10.0 | 10.0 | |
| Pemrograman | 2.4 | 5.2 | |
| Gabungan | 6.5 | 10.0 | |
| Parsing dan ekstraksi data | 10.0 | 10.0 | |
| Spesifik domain | 3.5 | 4.4 | |
| Kecerdasan umum | 5.5 | 10.0 | |
| Kepatuhan instruksi | 8.3 | 10.0 | |
| Pemecahan teka-teki | 5.3 | 10.0 | |
| Pemanggilan alat | 10.0 | 10.0 | |
| Pengetahuan umum | 3.0 | 10.0 |