หน้านี้แปลด้วยระบบอัตโนมัติ

บล็อก

llama.cpp เครื่องมือรัน AI แบบออฟไลน์บนพีซีของคุณเอง ปล่อยเวอร์ชันเสถียร 1.0 ตัวแรกหลังพัฒนามา 3.5 ปี

เป็ดยิ้มถือแล็ปท็อปข้างจอแล็ปท็อปที่แสดงชิป AI เมฆที่ขีดฆ่าสีแดง และป้าย 1.0 สีเขียว

AI อย่าง ChatGPT โดยทั่วไปทำงานบนเซิร์ฟเวอร์ของบริษัทผ่านอินเทอร์เน็ต แต่ llama.cpp เป็นโปรแกรมฟรีที่มีชื่อเสียงที่สุดที่ทำสิ่งตรงข้าม นั่นคือ รันโมเดล AI บนคอมพิวเตอร์ของคุณเองโดยตรง เมื่อวันที่ 13 พฤศจิกายน หลังจากพัฒนามานานสามปีครึ่ง โปรแกรมก็ได้ปล่อยเวอร์ชันเสถียรตัวแรกคือ 1.0

llama.cpp คืออะไร?

  • เป็นโปรแกรมโอเพนซอร์สที่รันไฟล์โมเดล AI (ในรูปแบบ GGUF) บนพีซีทั่วไป แล็ปท็อป และ Mac แอป AI ในเครื่องจำนวนมากใช้มันเป็นเอนจิน
  • บทสนทนาของคุณไม่ออกจากพีซีเลย จึงใช้กับข้อมูลส่วนตัวหรือเอกสารบริษัทได้อย่างสบายใจ และยังใช้งานได้แม้ไม่มีอินเทอร์เน็ต
  • พัฒนาโดยทีม ggml นำโดยนักพัฒนา Georgi Gerganov ซึ่งเข้าร่วมกับ Hugging Face ในเดือนกุมภาพันธ์ปีนี้

มีอะไรใหม่ในเวอร์ชัน 1.0

  • คำมั่นเรื่องหมายเลขเวอร์ชัน: จากนี้ไป การผสานระบบที่มีอยู่จะเสียหายเฉพาะเมื่อตัวเลขแรกเปลี่ยน (1 → 2) เท่านั้น นักพัฒนาที่ฝังเอนจินนี้ไว้ในแอปจึงอัปเดตได้อย่างมั่นใจ
  • ประหยัดหน่วยความจำ: ข้อมูลที่โมเดลเก็บระหว่างบทสนทนา (KV cache) สามารถเก็บในรูปแบบที่เล็กลงอย่าง FP8 ได้แล้ว สำหรับโมเดลที่ประกอบจากโมดูล "ผู้เชี่ยวชาญ" จำนวนมาก (MoE) มีตัวเลือกใหม่ให้เก็บเฉพาะส่วนที่ใช้บ่อยไว้ในหน่วยความจำกราฟิก อย่างไรก็ตาม ทีมงานไม่รับประกันว่าทุกโมเดลจะเร็วขึ้น
  • เสียงพูดออกมา: เซิร์ฟเวอร์ในตัวมีฟีเจอร์แปลงข้อความเป็นคำพูด (TTS) ที่อ่านข้อความออกเสียง
  • รองรับโมเดล: รองรับสถาปัตยกรรมโมเดลมากกว่า 150 แบบ
  • ความปลอดภัยที่เข้มงวดขึ้น: เมื่อคุณเปิดเซิร์ฟเวอร์ที่อุปกรณ์อื่นเข้าถึงได้ การรันเครื่องมือโดยไม่ยืนยันตัวตนต้องได้รับอนุญาตอย่างชัดเจน และโทเคนเข้าสู่ระบบ Hugging Face ของคุณจะถูกส่งไปยัง huggingface.co เท่านั้นโดยค่าเริ่มต้น
  • มีการลบฟังก์ชันเก่า 36 รายการ ดังนั้นโปรแกรมบางตัวที่สร้างบนเอนจินนี้อาจต้องอัปเดต

ลองใช้บน Windows

  • คุณสามารถรับไฟล์ปฏิบัติการสำเร็จรูปผ่าน winget ตัวจัดการแพ็กเกจของ Windows หรือจากหน้า releases บน GitHub แต่ละช่องทางอาจได้รับเวอร์ชัน 1.0 ในเวลาที่ต่างกัน จึงควรตรวจสอบเวอร์ชัน
  • ดาวน์โหลดไฟล์โมเดลรูปแบบ GGUF จาก Hugging Face ทุกอย่างจะทำงานลื่นไหลก็ต่อเมื่อคุณมี RAM (หรือหน่วยความจำกราฟิก) มากกว่าขนาดไฟล์โมเดล จึงควรเริ่มจากโมเดลขนาดเล็ก
  • รันเซิร์ฟเวอร์ในตัวแล้วคุณจะได้หน้าจอแชตแบบ ChatGPT ในเบราว์เซอร์
  • คุณสามารถตรวจสอบ RAM และการ์ดจอของพีซีได้ทันทีใน การตั้งค่า Windows และในแท็บ Performance ของ Task Manager

แหล่งที่มา: บล็อก Hugging Face – llama.cpp v1 · GitHub release v1.0.0 · Neurohive

บล็อก

← กลับไปยังรายการ กลับขึ้นด้านบน ↑