Typesafe
Lansare: 2026-09-18
Testat la: 2026-10-01 17:52
typesafe/jev-1.13::none
-AltulÎnchis Rezumat
Jev 1.13 obține 2.6 pe AI BENCHY și este pe #441. Are fiabilitate 10.0, rată de reușită 26.1%, cost total $0.003 și timp mediu de răspuns 698ms.
Ce face Jev 1.13 unic: Se remarcă cel mai mult la Parsare și extragere de date, unde este pe #1, iar Programare este zona cea mai slabă, la #13.
Date despre model
Documentat la 2026-09-18
- Parametri
- -
- Arhitectură
- Altul
- Disponibilitate
- Închis
- Licență
- -
2.6
Consistență
5.2
10.0
$0.003
Total tokenuri de ieșire
18,927
Total tokenuri de intrare
67,092
Preț de intrare
$0.042 / 1M
Preț de ieșire
$0.000 / 1M
Preț citire cache
N/D
Preț scriere cache
N/D
Prețurile de cache se aplică tokenurilor de intrare. Citirea reutilizează prompturi salvate; scrierea le stochează și poate costa în plus. Tokenurile de ieșire folosesc prețul de ieșire.
Teste greșite: 6
Rată de trecere pe încercare: 26.1%
Acoperire benchmark: 36/69 încercări. Adaptoarele oferă variantele de răspuns. Acceptă 12/23 teste. Celelalte teste sunt incompatibile, nu eșuate. Scorul folosește suita completă.
Teste instabile
0
Testele instabile au avut rezultate mixte între rulări (cel puțin un succes și un eșec).
Grafice
Alege primul model, apoi fă clic pe al doilea model pentru a deschide o pagină alăturată.
Scor vs Cost total
Timp de răspuns (mediu)
Scor vs Timp de răspuns (mediu)
Total tokenuri de ieșire
Scor vs Total tokenuri de ieșire
Comparație rapidă
Jev 1.13defaultvsd1-ultradefaultJev 1.13defaultvsDecider V1.2defaultJev 1.13defaultvsSpan-02defaultJev 1.13defaultvsDecider V1.1 27BdefaultJev 1.13defaultvsCommand A+lowJev 1.13defaultvsDrex v1.5defaultJev 1.13defaultvsCommand A+noneJev 1.13defaultvsGPT-6 Luna DecisionsdefaultJev 1.13defaultvsCommand A+highJev 1.13defaultvsKev 4Bdefault
Defalcare pe categorii
| Categorie | Scor | Consistență | Teste corecte |
|---|---|---|---|
| Sarcini agentice | 0.0 | 0.0 | |
| Trucuri anti-AI | 4.0 | 7.5 | |
| Programare | 2.2 | 6.7 | |
| Combinat | 0.0 | 0.0 | |
| Parsare și extragere de date | 10.0 | 10.0 | |
| Specific domeniului | 7.7 | 10.0 | |
| Inteligență generală | 0.0 | 0.0 | |
| Respectarea instrucțiunilor | 1.5 | 5.0 | |
| Rezolvare de puzzle-uri | 3.3 | 3.3 | |
| Apelare instrumente | 0.0 | 0.0 | |
| Cultură generală | 0.0 | 0.0 |