llama.cpp、自前のPCでオフラインAI動作を実現するツールが3年半で初の安定版1.0に到達

ChatGPTのようなAIは通常、インターネット越しに企業のサーバー上で動作します。llama.cppはその逆を行う、最も有名な無料プログラムで、AIモデルを自分のコンピューター上で直接実行できます。11月13日、開発開始から3年半を経て、初の安定版1.0がリリースされました。
llama.cppとは?
- 公開されているAIモデルファイル(GGUF形式)を、一般的なPC、ノートPC、Macで動かすオープンソースプログラムです。多くのローカルAIアプリがエンジンとして利用しています。
- 会話が自分のPCの外に出ないため、個人データや社内文書でも安心して使え、オフラインでも動作します。
- 開発者Georgi Gerganov氏率いるggmlチームが開発しており、同チームは今年2月にHugging Faceに加わりました。
1.0の新機能
- バージョン番号による保証:今後は先頭の数字が変わるとき(1 → 2)だけ、既存の連携機能が壊れることになります。このエンジンをアプリに組み込む開発者は安心して更新できます。
- メモリ削減:会話中にモデルが保持するデータ(KVキャッシュ)を、FP8というより小さい形式で保存できるようになりました。多数の「専門家」モジュールで構成されるモデル(MoE)向けには、よく使う部分だけをグラフィックメモリに保持する新しいオプションも用意されています。ただし、すべてのモデルが速くなるとは保証されていません。
- 音声出力:内蔵サーバーにテキスト読み上げ(TTS)機能が追加され、文章を声で読み上げられるようになりました。
- モデル対応:150種類を超えるモデルアーキテクチャのバリアントに対応しています。
- セキュリティ強化:他のデバイスからアクセスできるサーバーを開く際、認証なしでのツール実行は明示的に許可する必要があります。また、Hugging Faceのログイントークンは既定でhuggingface.coにのみ送信されるようになりました。
- 古い関数が36個削除されたため、このエンジンを利用する一部のプログラムは更新が必要な場合があります。
Windowsで試すには
- Windowsのパッケージマネージャーwingetや、GitHubのリリースページから完成済みの実行ファイルを入手できます。チャンネルごとに1.0への更新時期が異なる場合があるので、バージョンを確認してください。
- GGUF形式のモデルファイルはHugging Faceからダウンロードします。モデルファイルのサイズ以上のRAM(またはグラフィックメモリ)があるときだけ快適に動作するため、まずは小さいモデルから始めましょう。
- 内蔵サーバーを実行すると、ブラウザーにChatGPT風のチャット画面が表示されます。
- PCのRAMやグラフィックカードは、Windowsの設定やタスクマネージャーの「パフォーマンス」タブですぐに確認できます。
出典:Hugging Faceブログ – llama.cpp v1 · GitHubリリース v1.0.0 · Neurohive
ブログ
- デュアルモニターを正しく設定する:メインディスプレイの変更・配置・スケーリング(Windows 11)
- セキュリティテスト用AIツールが武器に——FBI、ARTEXが3時間で企業ネットワークを乗っ取れると警告
- PCがスリープから復帰しない、または夜中に勝手に起きる?powercfgで解決
- PCが突然重い?タスクマネージャーでディスクやCPUが100%になっている原因を突き止める(Windows 11)
- テスラの「Optimus Academy」:1万~2万台のロボットが一緒に学び、Optimusがロボタクシーの充電を担当する可能性も
- 通知が多すぎる?Windows 11の「集中モード」「通知の設定」「アプリごとの設定」を活用しよう
- PCのスペックを確認する方法:CPU、RAM、グラフィックボード、マザーボード(Windows 10・11対応)
- 印刷ジョブがキューで止まってしまった?削除してプリンターを復旧させる方法(Windows 11)