내 PC에서 인터넷 없이 AI를 돌리는 llama.cpp, 3년 반 만에 첫 정식판 1.0 출시

ChatGPT 같은 AI는 보통 인터넷 너머 회사 서버에서 돌아갑니다. 반대로 내 컴퓨터 안에서 AI 모델을 직접 돌리는 대표적인 무료 프로그램이 llama.cpp입니다. 이 프로그램이 11월 13일, 개발을 시작한 지 3년 반 만에 첫 정식 버전 1.0을 냈습니다.
llama.cpp가 뭔가요?
- 공개된 AI 모델 파일(GGUF 형식)을 일반 PC, 노트북, 맥에서 돌리게 해 주는 오픈소스 프로그램입니다. 여러 로컬 AI 앱이 이것을 바탕 엔진으로 씁니다.
- 대화 내용이 내 PC 밖으로 나가지 않아 개인 정보나 회사 문서를 다룰 때 안심할 수 있고, 인터넷이 끊겨도 쓸 수 있습니다.
- 개발자 게오르기 게르가노프가 이끄는 ggml 팀이 만들며, 이 팀은 올해 2월 허깅페이스에 합류했습니다.
1.0에서 달라진 점
- 버전 번호 약속: 이제부터 앞자리 숫자(1 → 2)가 바뀔 때만 기존 연동 방식이 깨집니다. 이 엔진을 넣어 앱을 만드는 개발자들이 안심하고 업데이트할 수 있게 됐습니다.
- 메모리 절약: 대화 중 기억해 두는 데이터(KV 캐시)를 FP8이라는 더 작은 형식으로 저장할 수 있게 됐습니다. 여러 '전문가' 모듈로 이뤄진 모델(MoE)은 자주 쓰는 부분만 그래픽카드 메모리에 두는 기능도 생겼습니다. 다만 개발팀은 모든 모델이 빨라진다고 보장하지는 않았습니다.
- 음성 출력: 내장 서버에 글을 읽어 주는 음성 합성(TTS) 기능이 추가됐습니다.
- 지원 모델: 150가지가 넘는 모델 구조를 지원합니다.
- 보안 강화: 다른 기기에서 접속할 수 있는 서버를 열 때 인증 없이 도구를 실행하는 기능은 직접 허용해야만 켜지고, 허깅페이스 로그인 토큰은 기본적으로 huggingface.co에만 보냅니다.
- 오래된 함수 36개가 빠져, 이 엔진을 쓰는 프로그램 중 일부는 업데이트가 필요할 수 있습니다.
윈도우에서 써 보려면
- 윈도우 패키지 관리자 winget이나 깃허브 릴리스 페이지에서 미리 만들어 둔 실행 파일을 받을 수 있습니다. 채널마다 1.0 반영 시점이 다를 수 있으니 버전을 확인하세요.
- 모델 파일은 허깅페이스에서 GGUF 형식으로 받습니다. 모델 파일 크기보다 램(또는 그래픽카드 메모리)이 넉넉해야 원활하게 돌아가므로, 처음에는 작은 모델부터 시작하는 것이 좋습니다.
- 내장 서버를 실행하면 브라우저에서 ChatGPT와 비슷한 대화 화면을 쓸 수 있습니다.
- 내 PC의 램과 그래픽카드 사양은 윈도우 설정과 작업 관리자의 성능 탭에서 바로 확인할 수 있습니다.
출처: Hugging Face 블로그 – llama.cpp v1 · GitHub 릴리스 v1.0.0 · Neurohive
블로그
- 듀얼 모니터 제대로 쓰기: 주 모니터 바꾸기, 배치·배율 맞추기 (윈도우 11)
- 보안 점검용 AI 도구가 해킹 무기로: FBI가 경고한 'ARTEX', 3시간 만에 회사 전산망 장악
- 절전 모드에서 안 깨어나거나 밤에 PC가 혼자 켜질 때 해결법 (powercfg 명령어)
- 컴퓨터가 갑자기 느려질 때: 작업 관리자 디스크·CPU 100% 원인 찾는 법 (윈도우 11)
- 테슬라 '옵티머스 아카데미': 로봇 1~2만 대가 함께 일을 배우고, 로보택시 충전도 옵티머스가 맡는다
- 알림이 너무 많을 때: 방해 금지·집중 모드와 앱별 알림 끄는 법 (윈도우 11)
- 내 컴퓨터 사양 확인하는 법: CPU·램·그래픽카드·메인보드 한 번에 보기 (윈도우 10·11)
- 인쇄가 "대기 중"에서 멈출 때: 인쇄 대기열 비우고 프린터 다시 살리는 법 (윈도우 11)