llama.cpp:在自己电脑上离线运行 AI 的工具,历经 3 年半迎来首个稳定版 1.0

像 ChatGPT 这样的 AI 通常运行在通过网络连接的公司服务器上。llama.cpp 则是最知名的 doing 相反事情的自由软件:它直接在你自己的电脑上运行 AI 模型。11 月 13 日,在开发启动三年半之后,它发布了首个稳定版本 1.0。
什么是 llama.cpp?
- 它是一个开源程序,可以在普通 PC、笔记本电脑和 Mac 上运行已公开发布的 AI 模型文件(GGUF 格式)。许多本地 AI 应用都以它作为引擎。
- 你的对话内容绝不会离开你的电脑,因此可以放心地用它处理个人数据或公司文档,即使离线也能使用。
- 它由开发者 Georgi Gerganov 领导的 ggml 团队开发,该团队已于今年 2 月加入 Hugging Face。
1.0 版本的新变化
- 版本号承诺:从现在起,只有第一位数字变化(1 → 2)时才会破坏现有的集成。将该引擎嵌入自己应用的开发者可以放心地进行更新。
- 节省内存:模型在对话过程中保留的数据(KV 缓存)现在可以以更小的 FP8 格式存储。对于由许多“专家”模块组成的模型(MoE),新增了一项只把常用部分保留在显存中的选项。不过团队并不承诺每个模型都会变快。
- 语音输出:内置服务器新增了文本转语音(TTS)功能,可以朗读文本。
- 模型支持:支持 150 多种模型架构变体。
- 更严格的安全性:当你开放可被其他设备访问的服务器时,未经身份验证运行工具现在必须明确允许;默认情况下,你的 Hugging Face 登录令牌只会发送到 huggingface.co。
- 移除了 36 个旧函数,因此某些基于该引擎构建的程序可能需要更新。
在 Windows 上试用
- 你可以通过 Windows 包管理器 winget 或 GitHub 发布页面获取现成的可执行文件。各个渠道收录 1.0 的时间可能不同,请注意确认版本号。
- 从 Hugging Face 下载 GGUF 格式的模型文件。只有当内存(或显存)大于模型文件大小时才能流畅运行,因此请先从小模型开始。
- 运行内置服务器后,浏览器中就会出现类似 ChatGPT 的聊天界面。
- 你可以在 Windows 设置和任务管理器的“性能”选项卡中立即查看电脑的内存和显卡信息。
来源:Hugging Face 博客 – llama.cpp v1 · GitHub 发布页 v1.0.0 · Neurohive
博客
- 正确设置双显示器:更改主显示器、排列位置和缩放比例(Windows 11)
- 安全测试AI工具沦为武器:FBI警告ARTEX可在3小时内接管公司网络
- 电脑无法从睡眠中唤醒,或半夜自己醒来?用 powercfg 轻松搞定
- 电脑突然变卡?在任务管理器中找出占用 100% 磁盘或 CPU 的元凶(Windows 11)
- 特斯拉"Optimus学院":上万机器人共同学习,Optimus或将负责为Robotaxi插枪充电
- 通知太多?在 Windows 11 中使用勿扰、专注和逐应用设置
- 如何查看你的电脑配置:CPU、内存、显卡和主板(Windows 10 和 11)
- 打印任务卡在队列中?如何清除并让打印机恢复正常(Windows 11)