#43 Step 3.5 Flash
medium- Coût
- $0.008
- Temps
- 277.1s
- Tokens
- 23,695 tok
Résumé
Step 3.5 Flash obtient 7.6 sur AI BENCHY et se classe #43. Il affiche une fiabilité de 10.0, un taux de réussite de 66.7%, un coût total de $0.011 et un temps de réponse moyen de 41.66s.
Ce qui rend Step 3.5 Flash unique : Il se distingue surtout en Analyse et extraction des données, où il se classe #1, tandis que Résolution d'énigmes est son point le plus faible avec #17. Son coût total de benchmark est inhabituellement bas pour son niveau de score.
Date de recherche : 2026-08-12
7.6
Cohérence
9.2
10.0
$0.011
Total des jetons de sortie
251,708
Total des jetons d'entrée
0
Prix d'entrée
$0.100 / 1M
Prix de sortie
$0.300 / 1M
Prix de lecture du cache
N/D
Prix d’écriture du cache
N/D
Les prix du cache concernent les tokens d’entrée. La lecture réutilise les prompts en cache ; l’écriture les stocke et peut coûter plus cher. Les tokens de sortie utilisent le prix de sortie.
Tests instables
2
Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
Historique des runs
| Testé le | Score | Fiabilité | Tests corrects | Coût total | Comparer |
|---|---|---|---|---|---|
| 2026-08-14 02:50 Nouveau test | 5.9 | 10.0 | $0.132 ↑ | Comparer | |
| 2026-07-16 23:25 Nouveau test ajouté | 6.0 | 9.2 | $0.108 ↑ | Comparer | |
| 2026-06-04 14:12 Nouveau test ajouté | 7.2 | 8.9 | $0.070 ↑ | Comparer | |
| 2026-05-22 00:30 Suite modifiée | 7.4 | 9.3 | $0.015 | Comparer | |
| 2026-05-08 15:30 Suite modifiée | 7.6 | 10.0 | $0.011 | Exécution actuelle | |
| 2026-04-11 00:35 Première exécution enregistrée | 7.9 | N/D | $0.000 | Comparer |
Ce run a utilisé une suite de benchmark différente. Gardez ce changement de suite à l'esprit lorsque vous lisez l'historique.
Comparaison de runs
| Run | Couverture du benchmark | Score | Cohérence | Fiabilité | Tests corrects | Tests instables | Total des jetons de sortie | Total des jetons d'entrée | Coût total | Temps de réponse (moy.) |
|---|---|---|---|---|---|---|---|---|---|---|
| 2026-05-08 15:30 · Suite modifiée | 54/54 tentatives | 7.6 | 9.2 | 10.0 | 11/18 | 2 | 251,708 | 0 | $0.011 | 41.66s |
| 2026-08-14 02:50 · Nouveau test | 63/63 tentatives | 5.9 | 8.6 | 10.0 | 10/21 | 2 | 568,536 | 65,716 | $0.132 | 191.63s |
| Différence | — | +1.7 | +0.6 | 0.0 | +1 | 0 | -316828 | -65716 | -$0.121 | -149970ms |
La couverture du benchmark diffère : 54/54 tentatives (Objectif : 3 répétitions par test) contre 63/63 tentatives (Objectif : 3 répétitions par test). Les totaux et les métriques sensibles aux répétitions ne sont pas directement comparables.
Ces deux runs ont utilisé des suites de benchmark différentes, donc les écarts reflètent à la fois les changements du modèle et ceux de la suite.
Choisissez d'abord le premier modèle, puis cliquez sur un second modèle pour ouvrir une page côte à côte.
| Catégorie | Score | Cohérence | Tests corrects |
|---|---|---|---|
| Astuces anti-IA | 10.0 | 10.0 | |
| Combiné | 10.0 | 10.0 | |
| Analyse et extraction des données | 10.0 | 10.0 | |
| Spécifique au domaine | 5.3 | 7.2 | |
| Intelligence générale | 5.5 | 10.0 | |
| Suivi des instructions | 8.5 | 6.8 | |
| Résolution d'énigmes | 5.3 | 10.0 | |
| Appel d'outils | 10.0 | 10.0 | |
| Culture générale | 3.0 | 10.0 |