Diese Seite wurde maschinell übersetzt.

Blog

llama.cpp, das Tool zum lokalen Ausführen von KI auf dem eigenen PC, erreicht nach 3,5 Jahren die erste stabile Version 1.0

Eine lächelnde Ente hält einen Laptop, neben einem Laptopbildschirm mit einem KI-Chip, einer rot durchgestrichenen Wolke und einem grünen 1.0-Abzeichen

KI wie ChatGPT läuft normalerweise auf den Servern eines Unternehmens im Internet. llama.cpp ist das bekannteste kostenlose Programm, das das Gegenteil tut: Es führt KI-Modelle direkt auf Ihrem eigenen Computer aus. Am 13. November erschien – dreieinhalb Jahre nach Beginn der Entwicklung – die erste stabile Version, 1.0.

Was ist llama.cpp?

  • Es ist ein Open-Source-Programm, das veröffentlichte KI-Modelldateien (im GGUF-Format) auf gewöhnlichen PCs, Laptops und Macs ausführt. Viele lokale KI-Apps nutzen es als Engine.
  • Ihre Gespräche verlassen niemals Ihren PC. Sie können es also bedenkenlos mit persönlichen Daten oder Firmendokumenten verwenden, und es funktioniert auch offline.
  • Es wird vom ggml-Team unter der Leitung des Entwicklers Georgi Gerganov entwickelt, das im Februar dieses Jahres zu Hugging Face gestoßen ist.

Was ist neu in Version 1.0

  • Eine Zusicherung zur Versionsnummer: Künftig brechen bestehende Integrationen nur, wenn sich die erste Zahl ändert (1 → 2). Entwickler, die diese Engine in ihre Apps einbauen, können Updates gefahrlos einspielen.
  • Speichereinsparung: Die Daten, die ein Modell während eines Gesprächs vorhält (der KV-Cache), können nun in einem kompakteren Format namens FP8 gespeichert werden. Für Modelle aus vielen „Experten“-Modulen (MoE) gibt es eine neue Option, nur die häufig genutzten Teile im Grafikspeicher zu halten. Das Team verspricht allerdings nicht, dass jedes Modell schneller wird.
  • Sprachausgabe: Der eingebaute Server hat eine Text-to-Speech-Funktion (TTS) erhalten, die Text laut vorliest.
  • Modellunterstützung: Es werden mehr als 150 Architekturvarianten von Modellen unterstützt.
  • Verbesserte Sicherheit: Wenn Sie einen Server öffnen, der auch von anderen Geräten erreichbar ist, muss das Ausführen von Tools ohne Authentifizierung nun ausdrücklich erlaubt werden, und Ihr Hugging-Face-Anmeldetoken wird standardmäßig nur an huggingface.co gesendet.
  • 36 alte Funktionen wurden entfernt, sodass einige Programme auf Basis dieser Engine möglicherweise ein Update benötigen.

Ausprobieren unter Windows

  • Fertig kompilierte Programmdateien erhalten Sie über winget, den Windows-Paket-Manager, oder über die GitHub-Releases-Seite. Jeder Kanal kann 1.0 zu einem anderen Zeitpunkt aufnehmen – prüfen Sie daher die Version.
  • Modell­dateien im GGUF-Format laden Sie von Hugging Face herunter. Alles läuft nur reibungslos, wenn Sie mehr RAM (bzw. Grafikspeicher) als die Größe der Modelldatei haben – beginnen Sie also mit einem kleinen Modell.
  • Starten Sie den integrierten Server, und Sie erhalten im Browser eine Chat-Oberfläche im Stil von ChatGPT.
  • RAM und Grafikkarte Ihres PCs können Sie sofort in den Windows-Einstellungen und auf der Registerkarte „Leistung“ des Task-Managers prüfen.

Quellen: Hugging-Face-Blog – llama.cpp v1 · GitHub-Release v1.0.0 · Neurohive

Blog

← Zurück zur Liste Nach oben ↑