Google: Gemini 3.5 Flash vs StepFun: Step 3.5 Flash
Résumé
Comparaison benchmark Gemini 3.5 Flash (high) vs Step 3.5 Flash : Gemini 3.5 Flash (high) mène au score moyen avec 9.8 vs 2.6. Step 3.5 Flash a le coût de benchmark le plus bas avec $0.020 vs $1.115. Gemini 3.5 Flash (high) est plus rapide avec 8.84s vs 39.03s, avec des taux de réussite de 96.8% vs 28.6%.
Modèle recommandé: Gemini 3.5 Flash (high) - Il obtient le meilleur score ici (9.8) et répond environ 4.4x plus vite que Step 3.5 Flash.
Benchmarks générés à partir des suites de tests AI BENCHY le: 2026-07-09
Step 3.5 FlashStep 3.5 FlashnoneModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.Sortie: 2026-02-01
Score
9.8Score moyen sur l’ensemble des tests de benchmark.…
2.6Score moyen sur l’ensemble des tests de benchmark.…
Rang
#1
#187
Fiabilité
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
10.0Score de réussite au premier essai : 10.0 signifie aucun échec réessayable de l'API cible ou de limite de débit avant les appels réussis ; les échecs suivis réduisent le score.…
Cohérence
9.6Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
5.7Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
Tests corrects
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)8.84sTemps de réponse (max)34.82sTemps de réponse (total)185.57sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 4N'a pas suivi les instructions: 1Mauvaise réponse: 1Temps de réponse (moy.)39.03sTemps de réponse (max)114.12sTemps de réponse (total)312.26sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
Taux de réussite par tentative
96.8%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
28.6%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
Tests instables
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Exécutions totales
63Exécutions totales…
36Exécutions totales…
Coût par résultat
5.575Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
0.328Affiche le coût moyen par réponse correcte du benchmark, en centimes (plus bas est meilleur).…
Coût total
$1.115Coût total (prix actuel)…
$0.020Coût total (prix actuel)…
Prix d'entrée
$1.500 / 1MPrix d'entrée…
$0.100 / 1MPrix d'entrée…
Prix de sortie
$9.000 / 1MPrix de sortie…
$0.300 / 1MPrix de sortie…
Total des jetons d'entrée
37,594Total des jetons d'entrée…
1,971Total des jetons d'entrée…
Jetons de sortie
1,975Jetons de sortie…
64,795Jetons de sortie…
Jetons de raisonnement
115,638Jetons de raisonnement…
0Jetons de raisonnement…
Temps de réponse (moy.)
8.84sTemps de réponse (moy.)…
39.03sTemps de réponse (moy.)…
Temps de réponse (max)
34.82sTemps de réponse (max)…
114.12sTemps de réponse (max)…
Temps de réponse (total)
185.57sTemps de réponse (total)…
312.26sTemps de réponse (total)…
Génération showcase
Hamster playing table tennis
Prompt: Create a detailed SVG illustration of a hamster playing table tennis.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)2.57sTemps de réponse (max)3.60sTemps de réponse (total)10.27sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
2.57sTemps de réponse (moy.)…
492Total des jetons d'entrée…
174Jetons de sortie…
4,997Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)34.99sTemps de réponse (max)109.60sTemps de réponse (total)139.95sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)22.96sTemps de réponse (max)34.82sTemps de réponse (total)68.88sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
22.96sTemps de réponse (moy.)…
8,118Total des jetons d'entrée…
456Jetons de sortie…
47,129Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
9.8Score moyen sur l’ensemble des tests de benchmark.…
3.3Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)22.37sTemps de réponse (max)22.37sTemps de réponse (total)22.37sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
22.37sTemps de réponse (moy.)…
12,873Total des jetons d'entrée…
351Jetons de sortie…
16,323Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)6.43sTemps de réponse (max)8.51sTemps de réponse (total)12.87sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
6.43sTemps de réponse (moy.)…
7,548Total des jetons d'entrée…
279Jetons de sortie…
8,466Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
1.5Score moyen sur l’ensemble des tests de benchmark.…
5.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
7.6Score moyen sur l’ensemble des tests de benchmark.…
7.2Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
77.8%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
1Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)14.09sTemps de réponse (max)22.00sTemps de réponse (total)42.27sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
14.09sTemps de réponse (moy.)…
633Total des jetons d'entrée…
12Jetons de sortie…
24,721Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.3Score moyen sur l’ensemble des tests de benchmark.…
3.3Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
33.3%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)34.54sTemps de réponse (max)34.54sTemps de réponse (total)34.54sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)3.63sTemps de réponse (max)3.63sTemps de réponse (total)3.63sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.63sTemps de réponse (moy.)…
486Total des jetons d'entrée…
115Jetons de sortie…
1,650Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
4.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.N'a pas suivi les instructions: 1Temps de réponse (moy.)14.37sTemps de réponse (max)14.37sTemps de réponse (total)14.37sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)3.35sTemps de réponse (max)3.42sTemps de réponse (total)6.69sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.35sTemps de réponse (moy.)…
615Total des jetons d'entrée…
70Jetons de sortie…
3,799Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
5.0Score moyen sur l’ensemble des tests de benchmark.…
5.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
50.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)9.30sTemps de réponse (max)9.30sTemps de réponse (total)9.30sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)3.23sTemps de réponse (max)3.68sTemps de réponse (total)9.69sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.23sTemps de réponse (moy.)…
558Total des jetons d'entrée…
241Jetons de sortie…
4,940Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
0.0Score moyen sur l’ensemble des tests de benchmark.…
0.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
9.8Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)4.96sTemps de réponse (max)4.96sTemps de réponse (total)4.96sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
4.96sTemps de réponse (moy.)…
6,115Total des jetons d'entrée…
265Jetons de sortie…
1,608Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Erreur API: 1Temps de réponse (moy.)0msTemps de réponse (max)0msTemps de réponse (total)0msUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
10.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
100.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Aucune réponse échouée.Temps de réponse (moy.)3.94sTemps de réponse (max)3.94sTemps de réponse (total)3.94sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…
3.94sTemps de réponse (moy.)…
156Total des jetons d'entrée…
12Jetons de sortie…
2,005Jetons de raisonnement…
Step 3.5 FlashModèle archivé : ce modèle n'est plus mis à jour ni testé sur de nouveaux tests.
3.0Score moyen sur l’ensemble des tests de benchmark.…
10.0Le score de cohérence reflète la stabilité entre exécutions (10 = très cohérent, même si constamment faux).…
0.0%Taux de réussite par tentative = tentatives réussies / tentatives totales sur toutes les exécutions.…
0Les tests instables ont eu des résultats mixtes entre exécutions (au moins une réussite et un échec).…
Un test est entièrement réussi uniquement si toutes ses exécutions réussissent.Mauvaise réponse: 1Temps de réponse (moy.)114.12sTemps de réponse (max)114.12sTemps de réponse (total)114.12sUn test est entièrement réussi uniquement si toutes ses exécutions réussissent.…