llama.cpp, czyli narzędzie do uruchamiania AI offline na własnym komputerze, dociera po 3,5 roku do pierwszej stabilnej wersji 1.0

AI takie jak ChatGPT zazwyczaj działa na serwerach firmy w internecie. llama.cpp to najbardziej znany darmowy program działający odwrotnie: uruchamia modele AI bezpośrednio na twoim komputerze. 13 listopada, trzy i pół roku po rozpoczęciu rozwoju, pojawiła się jego pierwsza stabilna wersja, 1.0.
Czym jest llama.cpp?
- To program open source, który uruchamia opublikowane pliki modeli AI (w formacie GGUF) na zwykłych komputerach PC, laptopach i komputerach Mac. Wiele lokalnych aplikacji AI wykorzystuje go jako swój silnik.
- Twoje rozmowy nigdy nie opuszczają twojego komputera, dzięki czemu możesz spokojnie używać go z danymi osobowymi czy dokumentami firmowymi, a działa nawet w trybie offline.
- Tworzy go zespół ggml pod przewodnictwem dewelopera Georgiego Gerganova, który w lutym tego roku dołączył do Hugging Face.
Co nowego w wersji 1.0
- Obietnica numeracji wersji: od teraz istniejące integracje psują się tylko przy zmianie pierwszej liczby (1 → 2). Deweloperzy wbudowujący ten silnik w swoje aplikacje mogą aktualizować bez obaw.
- Oszczędność pamięci: dane, które model przechowuje podczas rozmowy (pamięć podręczna KV), mogą być teraz zapisywane w mniejszym formacie o nazwie FP8. W przypadku modeli złożonych z wielu modułów „ekspertów" (MoE) pojawiła się nowa opcja trzymania w pamięci karty graficznej tylko często używanych części. Zespół nie obiecuje jednak, że każdy model będzie działał szybciej.
- Wyjście mowy: wbudowany serwer zyskał funkcję syntezy mowy (TTS), która odczytuje tekst na głos.
- Obsługa modeli: obsługuje ponad 150 wariantów architektur modeli.
- Zaostrzone bezpieczeństwo: gdy otwierasz serwer dostępny dla innych urządzeń, uruchamianie narzędzi bez uwierzytelnienia trzeba teraz wyraźnie zezwolić, a twój token logowania do Hugging Face jest domyślnie wysyłany tylko do huggingface.co.
- Usunięto 36 starych funkcji, więc niektóre programy oparte na tym silniku mogą wymagać aktualizacji.
Jak spróbować w Windows
- Gotowe pliki wykonywalne możesz pobrać przez winget, menedżer pakietów Windows, albo ze strony wydań na GitHubie. Każdy kanał może udostępnić wersję 1.0 w innym czasie, więc sprawdź numer wersji.
- Pliki modeli w formacie GGUF pobierz z Hugging Face. Wszystko działa płynnie tylko wtedy, gdy masz więcej pamięci RAM (lub pamięci karty graficznej) niż rozmiar pliku modelu, więc zacznij od małego modelu.
- Uruchom wbudowany serwer, a w przeglądarce pojawi się ekran czatu w stylu ChatGPT.
- Pamięć RAM i kartę graficzną swojego komputera możesz od razu sprawdzić w Ustawieniach Windows oraz na karcie Wydajność w Menedżerze zadań.
Źródła: blog Hugging Face – llama.cpp v1 · wydanie GitHub v1.0.0 · Neurohive
Blog
- Jak poprawnie skonfigurować dwa monitory: zmiana głównego ekranu, układu i skalowania (Windows 11)
- Narzędzie AI do testów bezpieczeństwa zamienione w broń: FBI ostrzega, że ARTEX może przejąć sieci firmowe w 3 godziny
- Komputer nie wybudza się z trybu uśpienia albo sam się budzi w nocy? Napraw to za pomocą powercfg
- Komputer nagle zwolnił? Sprawdź w Menedżerze zadań, co zajmuje 100% dysku lub procesora (Windows 11)
- "Akademia Optimus" Tesli: 10 000–20 000 robotów uczy się razem, a Optimus może podłączać robotaksówki do ładowania
- Za dużo powiadomień? Skorzystaj z trybu Nie przeszkadzać, koncentracji i ustawień dla poszczególnych aplikacji w Windows 11
- Jak sprawdzić specyfikację komputera: procesor, RAM, karta graficzna i płyta główna (Windows 10 i 11)
- Zadanie drukowania utknęło w kolejce? Jak je usunąć i przywrócić działanie drukarki (Windows 11)