#159

North Mini Code

Cohere Lançamento: 2026-06-18 Testado em: 2026-07-16 23:46 cohere/north-mini-code::medium

(medium) (none)

Resumo

North Mini Code marca 5.9 no AI BENCHY e fica em #159. Tem fiabilidade 8.6, taxa de acerto de 48.5%, custo total de $0.000 e tempo médio de resposta de 137.11s.

O que torna North Mini Code único: Destaca-se mais em Truques anti-IA, onde fica em #3, enquanto Resolução de quebra-cabeças é a área mais fraca em #10. O custo total do benchmark é invulgarmente baixo para este nível de pontuação. Usa uma quantidade invulgarmente alta de tokens de raciocínio, o que pode explicar execuções mais lentas ou caras.

Pontuação

5.9

Consistência

8.5

Confiabilidade

8.6

Custo total (preço atual)

$0.000

Total de tokens de saída

1,766,801

Total de tokens de entrada

81,813

Preço de entrada

$0.000 / 1M

Preço de saída

$0.000 / 1M

Testes corretos

Testes errados: 13

Taxa de acerto por tentativa: 48.5%

Cobertura do benchmark: 22/22 testes · 58/66 tentativas

Testes instáveis

Testes instáveis tiveram resultados mistos entre execuções (pelo menos um acerto e uma falha).

Tempo de resposta (médio)

137.11s

Tempo de resposta (máx.): 786.72s

Tempo de resposta (total): 3016.42s

Resposta incorreta: 9 Formatação extra: 2 Erro de API: 1 Chamada de ferramenta inválida: 1

Hamster playing table tennis

Prompt: Create a detailed SVG illustration of a hamster playing table tennis.

#159 North Mini Code

medium

Custo: $0.000
Tempo: 51.8s
Tokens: 12,460 tok

Histórico de execuções

Testado em	Pontuação	Confiabilidade	Testes corretos	Custo total	Comparar
2026-07-16 23:46 Novo teste adicionado	5.9	8.6		$0.000	Execução atual
2026-06-18 09:44 Execução inicial	5.8	8.5		$0.000	Comparar

Esta execução usou uma suite de benchmark diferente. Considere as mudanças na suite ao analisar a evolução histórica.

Comparação de execuções

Execução	Cobertura do benchmark	Pontuação	Consistência	Confiabilidade	Testes corretos	Testes instáveis	Total de tokens de saída	Total de tokens de entrada	Custo total	Tempo de resposta (médio)
2026-07-16 23:46 · Execução atual	22/22 testes · 58/66 tentativas	5.9	8.5	8.6	9/22	4	1,766,801	81,813	$0.000	137.11s
2026-06-18 09:44 · Execução inicial	21/21 testes · 55/63 tentativas	5.8	8.5	8.5	9/21	4	1,446,261	32,891	$0.000	106.18s
Diferença	—	0.0	0.0	+0.1	0	0	+320540	+48922	$0.000	+30934ms

A cobertura do benchmark é diferente: 22/22 testes · 58/66 tentativas (Meta: 3 repetições por teste) contra 21/21 testes · 55/63 tentativas (Meta: 3 repetições por teste). Totais e métricas sensíveis a repetições não são diretamente comparáveis.

Estas duas execuções usaram suites de benchmark diferentes, então as diferenças refletem tanto mudanças do modelo quanto da suite.

Histórico de preços

Dados históricos de preços deste modelo da OpenRouter.

Data	Preço de entrada	Preço de saída
2026-06-18 09:34	$0.000 / 1M	$0.000 / 1M

Gráficos

Escolha o primeiro modelo e depois clique em um segundo modelo para abrir uma página lado a lado.

Melhores modelos por pontuação

Pontuação vs Custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Comparação rápida

Detalhamento por categoria

Categoria	Pontuação	Consistência
Truques anti-IA	8.4	10.0
Programação	4.5	4.9
Combinado	2.9	5.8
Análise e extração de dados	10.0	10.0
Específico do domínio	5.3	7.2
Inteligência geral	5.1	10.0
Seguimento de instruções	9.8	10.0
Resolução de quebra-cabeças	3.3	10.0
Chamada de ferramentas	10.0	10.0
Conhecimentos gerais	3.0	10.0

North Mini Code

Hamster playing table tennis

#159 North Mini Code

Gráficos

Melhores modelos por pontuação

Pontuação vs Custo total

Tempo de resposta (médio)

Pontuação vs Tempo de resposta (médio)

Total de tokens de saída

Pontuação vs Total de tokens de saída

Comparação rápida

Detalhamento por categoria

Modelos comparados