Advertise here
#442

Mammoth 1

Baseten Lançamento: 2026-10-24 Testado em: 2026-10-24 15:07 baseten/mammoth-1::none
27BDensoCódigo aberto

Resumo

Mammoth 1 marca 2.2 no AI BENCHY e fica em #442. Tem fiabilidade 8.9, taxa de acerto de 18.8%, custo total de $0.000 e tempo médio de resposta de 1.80s.

O que torna Mammoth 1 único: Destaca-se mais em Programação, onde fica em #1, enquanto Análise e extração de dados é a área mais fraca em #13. O custo total do benchmark é invulgarmente baixo para este nível de pontuação.

Dados do modelo

Pesquisado em 2026-10-24

Divulgado
Parâmetros
27B
Arquitetura
Denso
Disponibilidade
Código aberto
Licença
MIT
Fonte dos parâmetros 1 Fonte dos parâmetros 2 Fonte dos parâmetros 3 Fonte da disponibilidade

Pontuação

2.2

Consistência

4.2

Confiabilidade

8.9

Custo total (preço atual)

$0.000

Total de tokens de saída

54

Total de tokens de entrada

45,468

Preço de entrada

$0.000 / 1M

Preço de saída

$0.000 / 1M

Preço de leitura do cache

N/D

Preço de escrita no cache

N/D

Os preços de cache aplicam-se aos tokens de entrada. A leitura reutiliza prompts em cache; a escrita armazena-os e pode custar mais. Os tokens de saída usam o preço de saída.

Testes corretos

Testes errados: 9

Taxa de acerto por tentativa: 18.8%

Cobertura do benchmark: 36/69 tentativas. Os adaptadores fornecem as opções. Suporta 12/23 testes. Os demais não são compatíveis, não são falhas. A pontuação usa a bateria completa.

Testes instáveis

3

Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).

Tempo de resposta (médio)

1.80s

Tempo de resposta (máx.): 8.17s

Tempo de resposta (total): 21.63s

Resposta incorreta: 6 Erro de API: 2 Não seguiu as instruções: 1

Gráficos

Escolha o primeiro modelo e depois clique em um segundo modelo para abrir uma página lado a lado.

Total de tokens de saída

Pontuação vs Total de tokens de saída

Comparação rápida

Mammoth 1defaultDisponível grátisvsJev 1.14defaultMammoth 1defaultDisponível grátisvsClassify-1defaultMammoth 1defaultDisponível grátisvsKev 4BdefaultMammoth 1defaultDisponível grátisvsClef OmnidefaultMammoth 1defaultDisponível grátisvsGPT-6 Luna DecisionsdefaultMammoth 1defaultDisponível grátisvsDecider Flash V1.2defaultMammoth 1defaultDisponível grátisvsDrex v1.5defaultMammoth 1defaultDisponível grátisvsD1defaultMammoth 1defaultDisponível grátisvsDecider V1.1 27BdefaultMammoth 1defaultDisponível grátisvsGemini 3 Flash Previewhigh

Detalhamento por categoria

Categoria Pontuação Consistência Testes corretos
Tarefas de agentes 0.0 0.0
Truques anti-IA 4.0 7.5
Programação 4.9 6.7
Combinado 0.0 0.0
Análise e extração de dados 3.7 1.7
Específico do domínio 5.3 10.0
Inteligência geral 0.0 0.0
Seguimento de instruções 1.5 5.0
Resolução de quebra-cabeças 1.6 1.0
Chamada de ferramentas 0.0 0.0
Conhecimentos gerais 0.0 0.0

Modelos comparados