llama.cpp เครื่องมือรัน AI แบบออฟไลน์บนพีซีของคุณเอง ปล่อยเวอร์ชันเสถียร 1.0 ตัวแรกหลังพัฒนามา 3.5 ปี

AI อย่าง ChatGPT โดยทั่วไปทำงานบนเซิร์ฟเวอร์ของบริษัทผ่านอินเทอร์เน็ต แต่ llama.cpp เป็นโปรแกรมฟรีที่มีชื่อเสียงที่สุดที่ทำสิ่งตรงข้าม นั่นคือ รันโมเดล AI บนคอมพิวเตอร์ของคุณเองโดยตรง เมื่อวันที่ 13 พฤศจิกายน หลังจากพัฒนามานานสามปีครึ่ง โปรแกรมก็ได้ปล่อยเวอร์ชันเสถียรตัวแรกคือ 1.0
llama.cpp คืออะไร?
- เป็นโปรแกรมโอเพนซอร์สที่รันไฟล์โมเดล AI (ในรูปแบบ GGUF) บนพีซีทั่วไป แล็ปท็อป และ Mac แอป AI ในเครื่องจำนวนมากใช้มันเป็นเอนจิน
- บทสนทนาของคุณไม่ออกจากพีซีเลย จึงใช้กับข้อมูลส่วนตัวหรือเอกสารบริษัทได้อย่างสบายใจ และยังใช้งานได้แม้ไม่มีอินเทอร์เน็ต
- พัฒนาโดยทีม ggml นำโดยนักพัฒนา Georgi Gerganov ซึ่งเข้าร่วมกับ Hugging Face ในเดือนกุมภาพันธ์ปีนี้
มีอะไรใหม่ในเวอร์ชัน 1.0
- คำมั่นเรื่องหมายเลขเวอร์ชัน: จากนี้ไป การผสานระบบที่มีอยู่จะเสียหายเฉพาะเมื่อตัวเลขแรกเปลี่ยน (1 → 2) เท่านั้น นักพัฒนาที่ฝังเอนจินนี้ไว้ในแอปจึงอัปเดตได้อย่างมั่นใจ
- ประหยัดหน่วยความจำ: ข้อมูลที่โมเดลเก็บระหว่างบทสนทนา (KV cache) สามารถเก็บในรูปแบบที่เล็กลงอย่าง FP8 ได้แล้ว สำหรับโมเดลที่ประกอบจากโมดูล "ผู้เชี่ยวชาญ" จำนวนมาก (MoE) มีตัวเลือกใหม่ให้เก็บเฉพาะส่วนที่ใช้บ่อยไว้ในหน่วยความจำกราฟิก อย่างไรก็ตาม ทีมงานไม่รับประกันว่าทุกโมเดลจะเร็วขึ้น
- เสียงพูดออกมา: เซิร์ฟเวอร์ในตัวมีฟีเจอร์แปลงข้อความเป็นคำพูด (TTS) ที่อ่านข้อความออกเสียง
- รองรับโมเดล: รองรับสถาปัตยกรรมโมเดลมากกว่า 150 แบบ
- ความปลอดภัยที่เข้มงวดขึ้น: เมื่อคุณเปิดเซิร์ฟเวอร์ที่อุปกรณ์อื่นเข้าถึงได้ การรันเครื่องมือโดยไม่ยืนยันตัวตนต้องได้รับอนุญาตอย่างชัดเจน และโทเคนเข้าสู่ระบบ Hugging Face ของคุณจะถูกส่งไปยัง huggingface.co เท่านั้นโดยค่าเริ่มต้น
- มีการลบฟังก์ชันเก่า 36 รายการ ดังนั้นโปรแกรมบางตัวที่สร้างบนเอนจินนี้อาจต้องอัปเดต
ลองใช้บน Windows
- คุณสามารถรับไฟล์ปฏิบัติการสำเร็จรูปผ่าน winget ตัวจัดการแพ็กเกจของ Windows หรือจากหน้า releases บน GitHub แต่ละช่องทางอาจได้รับเวอร์ชัน 1.0 ในเวลาที่ต่างกัน จึงควรตรวจสอบเวอร์ชัน
- ดาวน์โหลดไฟล์โมเดลรูปแบบ GGUF จาก Hugging Face ทุกอย่างจะทำงานลื่นไหลก็ต่อเมื่อคุณมี RAM (หรือหน่วยความจำกราฟิก) มากกว่าขนาดไฟล์โมเดล จึงควรเริ่มจากโมเดลขนาดเล็ก
- รันเซิร์ฟเวอร์ในตัวแล้วคุณจะได้หน้าจอแชตแบบ ChatGPT ในเบราว์เซอร์
- คุณสามารถตรวจสอบ RAM และการ์ดจอของพีซีได้ทันทีใน การตั้งค่า Windows และในแท็บ Performance ของ Task Manager
แหล่งที่มา: บล็อก Hugging Face – llama.cpp v1 · GitHub release v1.0.0 · Neurohive
บล็อก
- ตั้งค่าจอมอนิเตอร์สองจอแบบถูกต้อง: เปลี่ยนจอหลัก การจัดเรียง และสเกล (Windows 11)
- เครื่องมือ AI ทดสอบความปลอดภัยกลายเป็นอาวุธ: FBI เตือน ARTEX ยึดควบคุมเครือข่ายบริษัทได้ใน 3 ชั่วโมง
- PC ไม่ตื่นจากโหมด Sleep หรือตื่นเองกลางคืน? แก้ด้วย powercfg
- PC ช้าลงแบบกะทันหัน? หาสิ่งที่กินดิสก์หรือ CPU 100% ใน Task Manager (Windows 11)
- "Optimus Academy" ของ Tesla: หุ่นยนต์ 10,000 ถึง 20,000 ตัวเรียนรู้ไปด้วยกัน และ Optimus อาจช่วยเสียบปลั๊ก Robotaxi
- การแจ้งเตือนเยอะเกินไป? ใช้โหมดห้ามรบกวน, โฟกัส และการตั้งค่ารายแอปใน Windows 11
- วิธีเช็คสเปกคอมพิวเตอร์ของคุณ: CPU, RAM, การ์ดจอและเมนบอร์ด (Windows 10 และ 11)
- งานพิมพ์ค้างอยู่ในคิว? วิธีล้างคิวเพื่อให้เครื่องพิมพ์กลับมาใช้งานได้อีกครั้ง (Windows 11)