Ranking de modelos de Programação

Veja quais modelos de IA vão melhor em Programação, quais permanecem confiáveis e onde aparecem as maiores diferenças. Ordenar por: Métrica ↑.

Modelos exibidos

Média de Pontuação de Programação

0.6

Melhor modelo

Motivos de falha

Com motivo de falha Resposta incorreta456 Com motivo de falha Erro de API64 Com motivo de falha Sem resposta47 Com motivo de falha Não seguiu as instruções44 Com motivo de falha Formatação extra36 Com motivo de falha Tempo esgotado24

408/408

Posição	Modelo	Empresa	Pontuação de Programação	Pontuação	Custo total	Testes corretos	Tempo de resposta (médio)
#155	LongCat 2.0 medium	Meituan	1.0	0.7	$0.767	3/3	455.0s
Total de testes 3 Testes errados 0 Custo total $0.767 Tempo de resposta (médio) 455.0s
#156	GLM 5 medium	Z.ai	1.0	0.7	$0.479	3/3	74.3s
Total de testes 3 Testes errados 0 Custo total $0.479 Tempo de resposta (médio) 74.3s
#168	Ember-1 low	Fireworks	1.0	0.7	$1.488	3/3	37.9s
Total de testes 3 Testes errados 0 Custo total $1.488 Tempo de resposta (médio) 37.9s

Ranking de Programação