llama.cpp, la herramienta para ejecutar IA sin conexión en tu propio PC, alcanza su primera versión estable 1.0 tras 3,5 años

Las IA como ChatGPT suelen funcionar en los servidores de una empresa a través de internet. llama.cpp es el programa gratuito más conocido que hace justo lo contrario: ejecuta modelos de IA directamente en tu propia computadora. El 13 de noviembre, tres años y medio después de que comenzara su desarrollo, lanzó su primera versión estable, la 1.0.
¿Qué es llama.cpp?
- Es un programa de código abierto que ejecuta archivos de modelos de IA publicados (en formato GGUF) en PC normales, portátiles y Mac. Muchas aplicaciones de IA locales lo utilizan como motor.
- Tus conversaciones nunca salen de tu PC, así que puedes usarlo con datos personales o documentos de la empresa con total tranquilidad, y funciona incluso cuando no tienes conexión.
- Está desarrollado por el equipo de ggml, dirigido por el desarrollador Georgi Gerganov, que se unió a Hugging Face en febrero de este año.
Novedades de la versión 1.0
- Una promesa sobre los números de versión: a partir de ahora, las integraciones existentes solo se romperán cuando cambie el primer número (1 → 2). Los desarrolladores que integran este motor en sus aplicaciones pueden actualizar con confianza.
- Ahorro de memoria: los datos que un modelo conserva durante una conversación (la caché KV) ahora pueden guardarse en un formato más compacto llamado FP8. Para modelos formados por muchos módulos "experto" (MoE), hay una nueva opción para mantener en la memoria gráfica solo las partes que se usan con frecuencia. Eso sí, el equipo no promete que todos los modelos vayan más rápido.
- Salida de voz: el servidor integrado incorpora una función de texto a voz (TTS) que lee el texto en voz alta.
- Soporte de modelos: es compatible con más de 150 variantes de arquitecturas de modelos.
- Seguridad reforzada: al abrir un servidor accesible desde otros dispositivos, ahora hay que permitir de forma explícita la ejecución de herramientas sin autenticación, y tu token de inicio de sesión de Hugging Face se envía por defecto únicamente a huggingface.co.
- Se eliminaron 36 funciones antiguas, por lo que algunos programas basados en este motor podrían necesitar una actualización.
Cómo probarlo en Windows
- Puedes obtener ejecutables ya preparados a través de winget, el administrador de paquetes de Windows, o desde la página de lanzamientos de GitHub. Cada canal puede incorporar la versión 1.0 en momentos distintos, así que comprueba la versión.
- Descarga los archivos de modelos en formato GGUF desde Hugging Face. Todo funciona con fluidez solo si tienes más RAM (o memoria gráfica) que el tamaño del archivo del modelo, así que empieza con un modelo pequeño.
- Ejecuta el servidor integrado y obtendrás una pantalla de chat estilo ChatGPT en tu navegador.
- Puedes consultar la RAM y la tarjeta gráfica de tu PC al instante en Configuración de Windows y en la pestaña Rendimiento del Administrador de tareas.
Fuentes: blog de Hugging Face – llama.cpp v1 · lanzamiento en GitHub v1.0.0 · Neurohive
Blog
- Configura bien los dos monitores: cambia la pantalla principal, la disposición y la escala (Windows 11)
- Una herramienta de IA para pruebas de seguridad convertida en arma: el FBI advierte que ARTEX puede apoderarse de las redes de una empresa en 3 horas
- ¿Tu PC no despierta del modo de suspensión o se enciende solo por la noche? Arréglalo con powercfg
- ¿El PC va de repente lento? Descubre qué usa el 100% del disco o la CPU en el Administrador de tareas (Windows 11)
- La "Optimus Academy" de Tesla: entre 10.000 y 20.000 robots aprendiendo juntos, y Optimus podría enchufar los robotaxis
- ¿Demasiadas notificaciones? Usa No molestar, Concentración y la configuración por aplicación en Windows 11
- Cómo consultar las especificaciones de tu PC: CPU, RAM, tarjeta gráfica y placa base (Windows 10 y 11)
- ¿Un trabajo de impresión atascado en la cola? Cómo limpiarla y que tu impresora vuelva a funcionar (Windows 11)