Bespoke Labs
Lansare: 2026-10-16
Testat la: 2026-10-16 00:55
bespokelabs/bespoke-nimble-9b-v3::none
9BDensPonderi disponibile Rezumat
Nimble v3 9B obține 0.8 pe AI BENCHY și este pe #430. Are fiabilitate 10.0, rată de reușită 4.4%, cost total ~$0.001 și timp mediu de răspuns 363ms.
Ce face Nimble v3 9B unic: Costul total al benchmarkului este neobișnuit de mic pentru acest nivel de scor. Este vizibil rapid față de modele similare.
Date despre model
Documentat la 2026-10-16
- Parametri
- 9B
- Arhitectură
- Dens
- Disponibilitate
- Ponderi disponibile
- Licență
- CC-BY-NC-4.0
0.8
Consistență
3.0
10.0
~$0.001
Total tokenuri de ieșire
0
Total tokenuri de intrare
103,770
Cost estimat al energiei pentru benchmark
~$0.001
Teste greșite: 6
Rată de trecere pe încercare: 4.4%
Acoperire benchmark: 21/69 încercări. Adaptoarele oferă variantele de răspuns. Acceptă 7/23 teste. Celelalte teste sunt incompatibile, nu eșuate. Scorul folosește suita completă.
Teste instabile
0
Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).
Grafice
Alege primul model, apoi fă clic pe al doilea model pentru a deschide o pagină alăturată.
Scor vs Cost total
Timp de răspuns (mediu)
Scor vs Timp de răspuns (mediu)
Total tokenuri de ieșire
Scor vs Total tokenuri de ieșire
Comparație rapidă
Nimble v3 9BdefaultvsTev1 4B ExperimentaldefaultNimble v3 9BdefaultvsSolar DecidedefaultNimble v3 9BdefaultvsMicrosoft-Decision-1defaultNimble v3 9BdefaultvsSolar Decide FlashdefaultNimble v3 9BdefaultvsGemini 3 Flash PreviewhighNimble v3 9BdefaultvsD1defaultNimble v3 9BdefaultvsClef OmnidefaultNimble v3 9BdefaultvsClassify-1defaultNimble v3 9BdefaultvsJev 1.14defaultNimble v3 9BdefaultvsKev 4Bdefault
Defalcare pe categorii
| Categorie | Scor | Consistență | Teste corecte |
|---|---|---|---|
| Sarcini agentice | 0.0 | 0.0 | |
| Trucuri anti-AI | 2.5 | 2.5 | |
| Programare | 0.0 | 0.0 | |
| Combinat | 0.0 | 0.0 | |
| Parsare și extragere de date | 3.0 | 10.0 | |
| Specific domeniului | 2.0 | 6.7 | |
| Inteligență generală | 0.0 | 0.0 | |
| Respectarea instrucțiunilor | 1.5 | 5.0 | |
| Rezolvare de puzzle-uri | 1.7 | 3.3 | |
| Apelare instrumente | 0.0 | 0.0 | |
| Cultură generală | 0.0 | 0.0 |