Ta strona została przetłumaczona maszynowo.

Blog

llama.cpp, czyli narzędzie do uruchamiania AI offline na własnym komputerze, dociera po 3,5 roku do pierwszej stabilnej wersji 1.0

Uśmiechnięta kaczka trzymająca laptopa obok ekranu laptopa z układem AI, przekreśloną na czerwono chmurą i zielonym plakietką 1.0

AI takie jak ChatGPT zazwyczaj działa na serwerach firmy w internecie. llama.cpp to najbardziej znany darmowy program działający odwrotnie: uruchamia modele AI bezpośrednio na twoim komputerze. 13 listopada, trzy i pół roku po rozpoczęciu rozwoju, pojawiła się jego pierwsza stabilna wersja, 1.0.

Czym jest llama.cpp?

  • To program open source, który uruchamia opublikowane pliki modeli AI (w formacie GGUF) na zwykłych komputerach PC, laptopach i komputerach Mac. Wiele lokalnych aplikacji AI wykorzystuje go jako swój silnik.
  • Twoje rozmowy nigdy nie opuszczają twojego komputera, dzięki czemu możesz spokojnie używać go z danymi osobowymi czy dokumentami firmowymi, a działa nawet w trybie offline.
  • Tworzy go zespół ggml pod przewodnictwem dewelopera Georgiego Gerganova, który w lutym tego roku dołączył do Hugging Face.

Co nowego w wersji 1.0

  • Obietnica numeracji wersji: od teraz istniejące integracje psują się tylko przy zmianie pierwszej liczby (1 → 2). Deweloperzy wbudowujący ten silnik w swoje aplikacje mogą aktualizować bez obaw.
  • Oszczędność pamięci: dane, które model przechowuje podczas rozmowy (pamięć podręczna KV), mogą być teraz zapisywane w mniejszym formacie o nazwie FP8. W przypadku modeli złożonych z wielu modułów „ekspertów" (MoE) pojawiła się nowa opcja trzymania w pamięci karty graficznej tylko często używanych części. Zespół nie obiecuje jednak, że każdy model będzie działał szybciej.
  • Wyjście mowy: wbudowany serwer zyskał funkcję syntezy mowy (TTS), która odczytuje tekst na głos.
  • Obsługa modeli: obsługuje ponad 150 wariantów architektur modeli.
  • Zaostrzone bezpieczeństwo: gdy otwierasz serwer dostępny dla innych urządzeń, uruchamianie narzędzi bez uwierzytelnienia trzeba teraz wyraźnie zezwolić, a twój token logowania do Hugging Face jest domyślnie wysyłany tylko do huggingface.co.
  • Usunięto 36 starych funkcji, więc niektóre programy oparte na tym silniku mogą wymagać aktualizacji.

Jak spróbować w Windows

  • Gotowe pliki wykonywalne możesz pobrać przez winget, menedżer pakietów Windows, albo ze strony wydań na GitHubie. Każdy kanał może udostępnić wersję 1.0 w innym czasie, więc sprawdź numer wersji.
  • Pliki modeli w formacie GGUF pobierz z Hugging Face. Wszystko działa płynnie tylko wtedy, gdy masz więcej pamięci RAM (lub pamięci karty graficznej) niż rozmiar pliku modelu, więc zacznij od małego modelu.
  • Uruchom wbudowany serwer, a w przeglądarce pojawi się ekran czatu w stylu ChatGPT.
  • Pamięć RAM i kartę graficzną swojego komputera możesz od razu sprawdzić w Ustawieniach Windows oraz na karcie Wydajność w Menedżerze zadań.

Źródła: blog Hugging Face – llama.cpp v1 · wydanie GitHub v1.0.0 · Neurohive

Blog

← Powrót do listy Powrót na górę ↑