本頁面由機器翻譯產生。

部落格

llama.cpp:在自己電腦上離線執行 AI 的工具,歷時 3.5 年後推出首個穩定版 1.0

一隻微笑的鴨子抱著筆記型電腦,旁邊的螢幕顯示 AI 晶片、被紅色叉號劃掉的雲端圖示,以及綠色的 1.0 徽章

像 ChatGPT 這類 AI 通常是在公司的伺服器上透過網路運作。llama.cpp 則是最知名的免費程式,反其道而行:直接在你自己的電腦上執行 AI 模型。11 月 13 日,在開發開始三年半之後,它推出了第一個穩定版本 1.0。

什麼是 llama.cpp?

  • 這是一個開放原始碼程式,可在一般 PC、筆記型電腦和 Mac 上執行已公開的 AI 模型檔案(GGUF 格式)。許多本機 AI 應用程式都以它作為引擎。
  • 你的對話內容不會離開你的電腦,因此可以放心搭配個人資料或公司文件使用,而且在離線狀態下也能運作。
  • 它由開發者 Georgi Gerganov 帶領的 ggml 團隊打造,該團隊已於今年 2 月加入 Hugging Face。

1.0 版的新內容

  • 版本號承諾:從現在起,只有當第一個數字改變時(1 → 2),現有的整合才會被破壞。將這個引擎內嵌到自己應用程式中的開發者可以放心更新。
  • 節省記憶體:模型在對話過程中保存的資料(KV 快取)現在可以用更小的 FP8 格式儲存。對於由許多「專家」模組組成的模型(MoE),新增了只把常用部分保留在顯示卡記憶體中的選項。不過團隊並不保證每個模型都會變快。
  • 語音輸出:內建伺服器新增了文字轉語音(TTS)功能,可以朗讀文字。
  • 模型支援:支援超過 150 種模型架構變體。
  • 更嚴密的安全性:當你開放可供其他裝置連線的伺服器時,未經驗證就執行工具現在必須明確允許,而你的 Hugging Face 登入權杖預設只會傳送給 huggingface.co。
  • 移除了 36 個舊函式,因此部分基於這個引擎建構的程式可能需要更新。

在 Windows 上試用

  • 你可以透過 Windows 套件管理員 winget,或從 GitHub 發佈頁面取得現成的執行檔。各管道導入 1.0 的時間可能不同,請確認版本號。
  • 從 Hugging Face 下載 GGUF 格式的模型檔案。只有當你的RAM(或顯示卡記憶體)大於模型檔案大小時才能順利執行,建議先從小模型開始。
  • 執行內建伺服器後,瀏覽器中就會出現 ChatGPT 風格的聊天畫面。
  • 你可以在 Windows 設定以及工作管理員的「效能」索引標籤中,立即查看電腦的 RAM 和顯示卡。

資料來源:Hugging Face 部落格 – llama.cpp v1 · GitHub 發佈頁面 v1.0.0 · Neurohive

部落格

← 返回清單 回到頂端 ↑