Эта страница переведена автоматически.

Блог

llama.cpp — инструмент для автономного запуска ИИ на собственном ПК — спустя 3,5 года получила первый стабильный релиз 1.0

Улыбающаяся утка с ноутбуком рядом с экраном ноутбука, на котором видны чип ИИ, перечёркнутое красным облако и зелёный значок 1.0

ИИ вроде ChatGPT обычно работает на серверах компании через интернет. llama.cpp — самая известная бесплатная программа, действующая наоборот: она запускает модели ИИ прямо на вашем компьютере. 13 ноября, спустя три с половиной года после начала разработки, вышла её первая стабильная версия — 1.0.

Что такое llama.cpp?

  • Это программа с открытым исходным кодом, которая запускает опубликованные файлы моделей ИИ (в формате GGUF) на обычных ПК, ноутбуках и Mac. Многие локальные ИИ-приложения используют её в качестве движка.
  • Ваши диалоги никогда не покидают ваш ПК, поэтому её можно спокойно использовать с личными данными или рабочими документами, и она работает даже без подключения к интернету.
  • Её создаёт команда ggml под руководством разработчика Георги Герганова, которая в феврале этого года присоединилась к Hugging Face.

Что нового в версии 1.0

  • Гарантия номеров версий: отныне существующие интеграции ломаются только при смене первого числа (1 → 2). Разработчики, встраивающие этот движок в свои приложения, могут обновляться без опасений.
  • Экономия памяти: данные, которые модель хранит во время диалога (KV-кэш), теперь могут сохраняться в более компактном формате FP8. Для моделей из множества «экспертных» модулей (MoE) появилась новая опция — держать в видеопамяти только часто используемые части. Впрочем, команда не обещает, что каждая модель станет работать быстрее.
  • Синтез речи: встроенный сервер получил функцию преобразования текста в речь (TTS), озвучивающую текст вслух.
  • Поддержка моделей: поддерживается более 150 вариантов архитектур моделей.
  • Усиленная безопасность: при открытии сервера, доступного другим устройствам, запуск инструментов без аутентификации теперь нужно разрешать явно, а ваш токен входа в Hugging Face по умолчанию отправляется только на huggingface.co.
  • Удалены 36 старых функций, поэтому некоторым программам на основе этого движка может потребоваться обновление.

Как попробовать в Windows

  • Готовые исполняемые файлы можно получить через winget, менеджер пакетов Windows, или со страницы релизов на GitHub. В разных каналах версия 1.0 может появиться в разное время, поэтому проверяйте номер версии.
  • Файлы моделей в формате GGUF скачивайте с Hugging Face. Всё работает плавно, только если у вас больше ОЗУ (или видеопамяти), чем размер файла модели, поэтому начните с небольшой модели.
  • Запустите встроенный сервер — и в браузере откроется чат в стиле ChatGPT.
  • Объём ОЗУ и видеокарту вашего ПК можно сразу проверить в приложении «Параметры» Windows и на вкладке «Производительность» диспетчера задач.

Источники: блог Hugging Face — llama.cpp v1 · релиз GitHub v1.0.0 · Neurohive

Блог

← Вернуться к списку Наверх ↑