llama.cpp — инструмент для автономного запуска ИИ на собственном ПК — спустя 3,5 года получила первый стабильный релиз 1.0

ИИ вроде ChatGPT обычно работает на серверах компании через интернет. llama.cpp — самая известная бесплатная программа, действующая наоборот: она запускает модели ИИ прямо на вашем компьютере. 13 ноября, спустя три с половиной года после начала разработки, вышла её первая стабильная версия — 1.0.
Что такое llama.cpp?
- Это программа с открытым исходным кодом, которая запускает опубликованные файлы моделей ИИ (в формате GGUF) на обычных ПК, ноутбуках и Mac. Многие локальные ИИ-приложения используют её в качестве движка.
- Ваши диалоги никогда не покидают ваш ПК, поэтому её можно спокойно использовать с личными данными или рабочими документами, и она работает даже без подключения к интернету.
- Её создаёт команда ggml под руководством разработчика Георги Герганова, которая в феврале этого года присоединилась к Hugging Face.
Что нового в версии 1.0
- Гарантия номеров версий: отныне существующие интеграции ломаются только при смене первого числа (1 → 2). Разработчики, встраивающие этот движок в свои приложения, могут обновляться без опасений.
- Экономия памяти: данные, которые модель хранит во время диалога (KV-кэш), теперь могут сохраняться в более компактном формате FP8. Для моделей из множества «экспертных» модулей (MoE) появилась новая опция — держать в видеопамяти только часто используемые части. Впрочем, команда не обещает, что каждая модель станет работать быстрее.
- Синтез речи: встроенный сервер получил функцию преобразования текста в речь (TTS), озвучивающую текст вслух.
- Поддержка моделей: поддерживается более 150 вариантов архитектур моделей.
- Усиленная безопасность: при открытии сервера, доступного другим устройствам, запуск инструментов без аутентификации теперь нужно разрешать явно, а ваш токен входа в Hugging Face по умолчанию отправляется только на huggingface.co.
- Удалены 36 старых функций, поэтому некоторым программам на основе этого движка может потребоваться обновление.
Как попробовать в Windows
- Готовые исполняемые файлы можно получить через winget, менеджер пакетов Windows, или со страницы релизов на GitHub. В разных каналах версия 1.0 может появиться в разное время, поэтому проверяйте номер версии.
- Файлы моделей в формате GGUF скачивайте с Hugging Face. Всё работает плавно, только если у вас больше ОЗУ (или видеопамяти), чем размер файла модели, поэтому начните с небольшой модели.
- Запустите встроенный сервер — и в браузере откроется чат в стиле ChatGPT.
- Объём ОЗУ и видеокарту вашего ПК можно сразу проверить в приложении «Параметры» Windows и на вкладке «Производительность» диспетчера задач.
Источники: блог Hugging Face — llama.cpp v1 · релиз GitHub v1.0.0 · Neurohive
Блог
- Правильная настройка двух мониторов: смена основного дисплея, расположение и масштабирование (Windows 11)
- ИИ-инструмент для тестирования безопасности стал оружием: ФБР предупреждает, что ARTEX может захватить сети компании за 3 часа
- Компьютер не выходит из спящего режима или сам просыпается ночью? Исправляем с помощью powercfg
- Компьютер вдруг стал медленным? Находим в Диспетчере задач, что загружает диск или ЦП на 100% (Windows 11)
- «Академия Optimus» от Tesla: 10 000–20 000 роботов учатся вместе, и Optimus может подключать роботакси к зарядке
- Слишком много уведомлений? Используйте режим «Не беспокоить», фокусирование и настройки для отдельных приложений в Windows 11
- Как узнать характеристики ПК: процессор, оперативная память, видеокарта и материнская плата (Windows 10 и 11)
- Задание печати застряло в очереди? Как очистить её и вернуть принтер к работе (Windows 11)