Esta página foi traduzida automaticamente.

Blog

llama.cpp, a ferramenta para executar IA offline no seu próprio PC, chega à primeira versão estável 1.0 após 3,5 anos

Um pato sorridente segurando um laptop ao lado de uma tela mostrando um chip de IA, uma nuvem riscada em vermelho e um selo verde 1.0

IAs como o ChatGPT normalmente rodam nos servidores de uma empresa pela internet. O llama.cpp é o programa gratuito mais conhecido que faz o oposto: ele executa modelos de IA diretamente no seu computador. Em 13 de novembro, três anos e meio após o início do desenvolvimento, foi lançada sua primeira versão estável, a 1.0.

O que é o llama.cpp?

  • É um programa de código aberto que executa arquivos de modelos de IA publicados (no formato GGUF) em PCs comuns, notebooks e Macs. Muitos aplicativos de IA locais o utilizam como motor.
  • Suas conversas nunca saem do seu PC, então você pode usá-lo com dados pessoais ou documentos da empresa com tranquilidade, e ele funciona mesmo quando você está offline.
  • É desenvolvido pela equipe ggml, liderada pelo desenvolvedor Georgi Gerganov, que se juntou à Hugging Face em fevereiro deste ano.

O que há de novo na versão 1.0

  • Uma promessa sobre os números de versão: de agora em diante, integrações existentes só quebram quando o primeiro número muda (1 → 2). Desenvolvedores que incorporam esse motor em seus aplicativos podem atualizar com confiança.
  • Economia de memória: os dados que um modelo mantém durante uma conversa (o cache de KV) agora podem ser armazenados em um formato menor chamado FP8. Para modelos compostos por muitos módulos "especialistas" (MoE), há uma nova opção para manter apenas as partes mais usadas na memória gráfica. A equipe não promete, porém, que todos os modelos fiquem mais rápidos.
  • Saída de voz: o servidor integrado ganhou um recurso de conversão de texto em fala (TTS) que lê textos em voz alta.
  • Suporte a modelos: oferece suporte a mais de 150 variantes de arquiteturas de modelos.
  • Segurança reforçada: ao abrir um servidor acessível por outros dispositivos, executar ferramentas sem autenticação agora precisa ser permitido explicitamente, e seu token de login da Hugging Face é enviado por padrão apenas para huggingface.co.
  • 36 funções antigas foram removidas, então alguns programas construídos sobre esse motor podem precisar de atualização.

Experimentando no Windows

  • Você pode obter executáveis prontos pelo winget, o gerenciador de pacotes do Windows, ou na página de releases do GitHub. Cada canal pode receber a versão 1.0 em momentos diferentes, então verifique a versão.
  • Baixe arquivos de modelos no formato GGUF da Hugging Face. As coisas só funcionam bem quando você tem mais RAM (ou memória gráfica) do que o tamanho do arquivo do modelo, então comece com um modelo pequeno.
  • Execute o servidor integrado e você terá uma tela de chat estilo ChatGPT no navegador.
  • Você pode verificar a RAM e a placa de vídeo do seu PC facilmente nas Configurações do Windows e na aba Desempenho do Gerenciador de Tarefas.

Fontes: Blog da Hugging Face – llama.cpp v1 · Release do GitHub v1.0.0 · Neurohive

Blog

← Voltar para a lista Voltar ao topo ↑