このページは機械翻訳されています。

ブログ

llama.cpp、自前のPCでオフラインAI動作を実現するツールが3年半で初の安定版1.0に到達

ノートPCを持つ笑顔のアヒルと、AIチップ・赤いバツ付きのクラウド・緑色の1.0バッジが表示されたノートPC画面

ChatGPTのようなAIは通常、インターネット越しに企業のサーバー上で動作します。llama.cppはその逆を行う、最も有名な無料プログラムで、AIモデルを自分のコンピューター上で直接実行できます。11月13日、開発開始から3年半を経て、初の安定版1.0がリリースされました。

llama.cppとは?

  • 公開されているAIモデルファイル(GGUF形式)を、一般的なPC、ノートPC、Macで動かすオープンソースプログラムです。多くのローカルAIアプリがエンジンとして利用しています。
  • 会話が自分のPCの外に出ないため、個人データや社内文書でも安心して使え、オフラインでも動作します。
  • 開発者Georgi Gerganov氏率いるggmlチームが開発しており、同チームは今年2月にHugging Faceに加わりました。

1.0の新機能

  • バージョン番号による保証:今後は先頭の数字が変わるとき(1 → 2)だけ、既存の連携機能が壊れることになります。このエンジンをアプリに組み込む開発者は安心して更新できます。
  • メモリ削減:会話中にモデルが保持するデータ(KVキャッシュ)を、FP8というより小さい形式で保存できるようになりました。多数の「専門家」モジュールで構成されるモデル(MoE)向けには、よく使う部分だけをグラフィックメモリに保持する新しいオプションも用意されています。ただし、すべてのモデルが速くなるとは保証されていません。
  • 音声出力:内蔵サーバーにテキスト読み上げ(TTS)機能が追加され、文章を声で読み上げられるようになりました。
  • モデル対応:150種類を超えるモデルアーキテクチャのバリアントに対応しています。
  • セキュリティ強化:他のデバイスからアクセスできるサーバーを開く際、認証なしでのツール実行は明示的に許可する必要があります。また、Hugging Faceのログイントークンは既定でhuggingface.coにのみ送信されるようになりました。
  • 古い関数が36個削除されたため、このエンジンを利用する一部のプログラムは更新が必要な場合があります。

Windowsで試すには

  • Windowsのパッケージマネージャーwingetや、GitHubのリリースページから完成済みの実行ファイルを入手できます。チャンネルごとに1.0への更新時期が異なる場合があるので、バージョンを確認してください。
  • GGUF形式のモデルファイルはHugging Faceからダウンロードします。モデルファイルのサイズ以上のRAM(またはグラフィックメモリ)があるときだけ快適に動作するため、まずは小さいモデルから始めましょう。
  • 内蔵サーバーを実行すると、ブラウザーにChatGPT風のチャット画面が表示されます。
  • PCのRAMやグラフィックカードは、Windowsの設定やタスクマネージャーの「パフォーマンス」タブですぐに確認できます。

出典:Hugging Faceブログ – llama.cpp v1 · GitHubリリース v1.0.0 · Neurohive

ブログ

← 一覧に戻る ページ上部へ戻る ↑