블로그

내 PC에서 인터넷 없이 AI를 돌리는 llama.cpp, 3년 반 만에 첫 정식판 1.0 출시

노트북을 든 웃는 오리 옆에 AI 칩이 뜬 노트북 화면, 빨간 빗금이 그어진 구름, 1.0 초록 배지가 있는 그림

ChatGPT 같은 AI는 보통 인터넷 너머 회사 서버에서 돌아갑니다. 반대로 내 컴퓨터 안에서 AI 모델을 직접 돌리는 대표적인 무료 프로그램이 llama.cpp입니다. 이 프로그램이 11월 13일, 개발을 시작한 지 3년 반 만에 첫 정식 버전 1.0을 냈습니다.

llama.cpp가 뭔가요?

  • 공개된 AI 모델 파일(GGUF 형식)을 일반 PC, 노트북, 맥에서 돌리게 해 주는 오픈소스 프로그램입니다. 여러 로컬 AI 앱이 이것을 바탕 엔진으로 씁니다.
  • 대화 내용이 내 PC 밖으로 나가지 않아 개인 정보나 회사 문서를 다룰 때 안심할 수 있고, 인터넷이 끊겨도 쓸 수 있습니다.
  • 개발자 게오르기 게르가노프가 이끄는 ggml 팀이 만들며, 이 팀은 올해 2월 허깅페이스에 합류했습니다.

1.0에서 달라진 점

  • 버전 번호 약속: 이제부터 앞자리 숫자(1 → 2)가 바뀔 때만 기존 연동 방식이 깨집니다. 이 엔진을 넣어 앱을 만드는 개발자들이 안심하고 업데이트할 수 있게 됐습니다.
  • 메모리 절약: 대화 중 기억해 두는 데이터(KV 캐시)를 FP8이라는 더 작은 형식으로 저장할 수 있게 됐습니다. 여러 '전문가' 모듈로 이뤄진 모델(MoE)은 자주 쓰는 부분만 그래픽카드 메모리에 두는 기능도 생겼습니다. 다만 개발팀은 모든 모델이 빨라진다고 보장하지는 않았습니다.
  • 음성 출력: 내장 서버에 글을 읽어 주는 음성 합성(TTS) 기능이 추가됐습니다.
  • 지원 모델: 150가지가 넘는 모델 구조를 지원합니다.
  • 보안 강화: 다른 기기에서 접속할 수 있는 서버를 열 때 인증 없이 도구를 실행하는 기능은 직접 허용해야만 켜지고, 허깅페이스 로그인 토큰은 기본적으로 huggingface.co에만 보냅니다.
  • 오래된 함수 36개가 빠져, 이 엔진을 쓰는 프로그램 중 일부는 업데이트가 필요할 수 있습니다.

윈도우에서 써 보려면

  • 윈도우 패키지 관리자 winget이나 깃허브 릴리스 페이지에서 미리 만들어 둔 실행 파일을 받을 수 있습니다. 채널마다 1.0 반영 시점이 다를 수 있으니 버전을 확인하세요.
  • 모델 파일은 허깅페이스에서 GGUF 형식으로 받습니다. 모델 파일 크기보다 램(또는 그래픽카드 메모리)이 넉넉해야 원활하게 돌아가므로, 처음에는 작은 모델부터 시작하는 것이 좋습니다.
  • 내장 서버를 실행하면 브라우저에서 ChatGPT와 비슷한 대화 화면을 쓸 수 있습니다.
  • 내 PC의 램과 그래픽카드 사양은 윈도우 설정과 작업 관리자의 성능 탭에서 바로 확인할 수 있습니다.

출처: Hugging Face 블로그 – llama.cpp v1 · GitHub 릴리스 v1.0.0 · Neurohive

블로그

← 목록으로 맨 위로 ↑