本页面由机器翻译生成。

博客

llama.cpp:在自己电脑上离线运行 AI 的工具,历经 3 年半迎来首个稳定版 1.0

一只微笑的鸭子抱着笔记本电脑,旁边笔记本电脑屏幕上显示 AI 芯片、被红叉划掉的云朵以及绿色的 1.0 徽章

像 ChatGPT 这样的 AI 通常运行在通过网络连接的公司服务器上。llama.cpp 则是最知名的 doing 相反事情的自由软件:它直接在你自己的电脑上运行 AI 模型。11 月 13 日,在开发启动三年半之后,它发布了首个稳定版本 1.0。

什么是 llama.cpp?

  • 它是一个开源程序,可以在普通 PC、笔记本电脑和 Mac 上运行已公开发布的 AI 模型文件(GGUF 格式)。许多本地 AI 应用都以它作为引擎。
  • 你的对话内容绝不会离开你的电脑,因此可以放心地用它处理个人数据或公司文档,即使离线也能使用。
  • 它由开发者 Georgi Gerganov 领导的 ggml 团队开发,该团队已于今年 2 月加入 Hugging Face。

1.0 版本的新变化

  • 版本号承诺:从现在起,只有第一位数字变化(1 → 2)时才会破坏现有的集成。将该引擎嵌入自己应用的开发者可以放心地进行更新。
  • 节省内存:模型在对话过程中保留的数据(KV 缓存)现在可以以更小的 FP8 格式存储。对于由许多“专家”模块组成的模型(MoE),新增了一项只把常用部分保留在显存中的选项。不过团队并不承诺每个模型都会变快。
  • 语音输出:内置服务器新增了文本转语音(TTS)功能,可以朗读文本。
  • 模型支持:支持 150 多种模型架构变体。
  • 更严格的安全性:当你开放可被其他设备访问的服务器时,未经身份验证运行工具现在必须明确允许;默认情况下,你的 Hugging Face 登录令牌只会发送到 huggingface.co。
  • 移除了 36 个旧函数,因此某些基于该引擎构建的程序可能需要更新。

在 Windows 上试用

  • 你可以通过 Windows 包管理器 winget 或 GitHub 发布页面获取现成的可执行文件。各个渠道收录 1.0 的时间可能不同,请注意确认版本号。
  • 从 Hugging Face 下载 GGUF 格式的模型文件。只有当内存(或显存)大于模型文件大小时才能流畅运行,因此请先从小模型开始。
  • 运行内置服务器后,浏览器中就会出现类似 ChatGPT 的聊天界面。
  • 你可以在 Windows 设置和任务管理器的“性能”选项卡中立即查看电脑的内存和显卡信息。

来源:Hugging Face 博客 – llama.cpp v1 · GitHub 发布页 v1.0.0 · Neurohive

博客

← 返回列表 返回顶部 ↑