Pockit
Back

2025년 로컬 LLM 실행 완벽 가이드

OpenAI API에만 의존하던 시대는 저물어가고 있습니다. 물론 복잡한 추론 영역에서는 여전히 GPT-4나 Claude 3.5 Sonnet이 왕좌를 지키고 있지만, 개발자들의 로컬 머신에서는 조용한 혁명이 일어나고 있습니다.

2025년 현재, 로컬에서 LLM(Large Language Model)을 실행하는 것은 더 이상 주말 취미 생활이 아닙니다. 이는 실제 프로덕션 환경, 엄격한 개인정보 보호가 필요한 프로젝트, 그리고 비용 절감을 위한 확실한 전략이 되었습니다. Llama 3, Mistral, Phi-3와 같은 고효율 모델들이 등장하면서 "내 컴퓨터 안의 인공지능"은 현실이 되었습니다.

이 가이드는 로컬 LLM 스택에 대한 심층 분석입니다. 단순히 ollama run llama3 한 줄 치고 끝나는 것이 아닙니다. 하드웨어의 한계점, 양자화(Quantization)의 원리, 그리고 프로덕션 수준의 추론 서버를 구축하는 방법까지 상세히 알아봅시다.

왜 로컬로 가야 하나요?

방법을 알아보기 전에, 왜(Why) 해야 하는지부터 짚고 넘어갑시다.

  1. 개인정보 보호 & 데이터 주권: 가장 중요한 이유입니다. 의료, 법률, 또는 사내 기밀 데이터를 외부 API로 전송하는 것은 보안상 큰 위험입니다. 로컬 LLM은 여러분의 데이터가 VPC(또는 노트북) 밖으로 나가지 않음을 보장합니다.
  2. 예측 가능한 비용: 사용량 기반 요금제는 스타트업에게 큰 부담이 될 수 있습니다. 로컬 GPU 서버는 고정 비용입니다. 24시간 내내 요청을 보내도 청구서는 그대로입니다.
  3. 지연 시간(Latency) 감소: 네트워크 왕복 시간은 생각보다 큽니다. 음성 비서와 같은 실시간 애플리케이션의 경우, 사용자가 있는 곳(Edge)에서 모델을 실행하는 것이 데이터 센터를 다녀오는 것보다 훨씬 빠릅니다.
  4. 속도 제한(Rate Limit) 없음: 여러분이 곧 관리자입니다. "429 Too Many Requests" 에러와 작별하세요.

Part 1: 하드웨어 풍경 (Hardware Landscape)

로컬 LLM의 가장 큰 병목 구간은 바로 **VRAM(비디오 메모리)**입니다.

추론(Inference) 시 LLM은 연산 속도보다 메모리 대역폭에 더 민감합니다. 모델에 필요한 메모리 용량을 계산하는 대략적인 공식은 다음과 같습니다.

메모리(GB)≈파라미터수(십억)×파라미터당바이트메모리 (GB) \approx 파라미터 수 (십억) \times 파라미터 당 바이트

  • FP16 (Full Precision): 파라미터 당 2바이트. 7B 모델은 약 14GB가 필요합니다.
  • 4-bit 양자화 (표준): 파라미터 당 0.5-0.7바이트. 7B 모델은 약 5GB면 충분합니다.

애플 실리콘의 우위

M 시리즈 칩(Pro/Max)이 탑재된 맥북은 현재 로컬 개발의 표준이 되었습니다. 그 이유는 통합 메모리(Unified Memory) 때문입니다. GPU가 CPU와 RAM을 공유하죠. 128GB RAM을 가진 맥북 프로는 무려 120B 파라미터 모델도 로드할 수 있습니다. 반면 NVIDIA 4090은 24GB VRAM에 갇혀 있습니다.

NVIDIA의 길

서버를 구축한다면 여전히 CUDA 최적화 때문에 NVIDIA가 왕입니다.

  • 일반 소비자용: RTX 3090/4090 (24GB VRAM) - 7B~30B 모델(양자화)을 돌리기에 좋습니다.
  • 전문가용: NVLink로 연결된 Dual 3090/4090 - 48GB VRAM 확보 가능.
  • 기업용: A100/H100 - "로컬"이라 부르기엔 너무 비쌉니다.

Part 2: 소프트웨어 스택

이제 단순히 파이썬 스크립트를 돌리는 시대는 지났습니다. 2025년의 툴들은 매우 성숙해졌습니다.

1. Ollama: LLM계의 "도커(Docker)"

5분 안에 시작하고 싶다면 Ollama가 정답입니다. Ollama는 llama.cpp를 Go 백엔드로 감싸고 깔끔한 CLI와 REST API를 제공합니다.

설치 (macOS):

brew install ollama

Llama 3 실행:

ollama run llama3

Ollama는 모델 가중치 관리, GGUF 파싱, 하드웨어 가속 설정을 자동으로 처리합니다. 또한 11434 포트로 OpenAI 호환 API를 열어주어 기존 앱을 수정 없이 그대로 사용할 수 있게 해줍니다.

2. Llama.cpp: 엔진

Georgi Gerganov가 만든 llama.cpp는 이 모든 혁명의 시작점입니다. 일반 소비자용 하드웨어(Apple Metal, CUDA, 심지어 순수 CPU)에서 LLM을 돌릴 수 있게 해줍니다. Ollama나 LM Studio 같은 대부분의 툴이 내부적으로 이것을 사용합니다.

3. vLLM: 프로덕션 서버

Ollama가 개발용으로 훌륭하다면, 높은 처리량이 필요한 프로덕션 서빙에는 vLLM이 표준입니다. OS의 가상 메모리 관리에서 영감을 받은 PagedAttention 알고리즘을 사용하여 처리량을 2배에서 4배까지 늘립니다.

Part 3: 양자화(Quantization)와 GGUF 파헤치기

llama-3-8b-instruct.Q4_K_M.gguf 같은 파일명을 보신 적이 있을 겁니다. 도대체 무슨 뜻일까요?

**양자화(Quantization)**는 가중치의 정밀도를 낮춰 모델 크기를 줄이는 기술입니다.

  • FP16: 16비트 부동소수점 (원본 가중치).
  • Q5_K_M: 5비트 양자화. FP16과 거의 구별할 수 없는 성능을 보여줍니다.
  • Q4_K_M: 4비트. 속도와 품질 사이의 "Sweet Spot"입니다.
  • Q2_K: 2비트. 모델의 지능이 심각하게 손상됩니다. 정말 급한 게 아니면 피하세요.

"펄플렉서티(Perplexity)" 트레이드오프:
비트 수가 낮을수록 펄플렉서티(모델의 혼란도)가 높아집니다. GGUF는 빠른 로딩과 메모리 매핑을 위해 설계된 파일 포맷입니다.

[!TIP]
항상 Q4_K_M 또는 Q5_K_M을 목표로 하세요. Q8(8비트)로 가봤자 성능 향상은 미미한데 VRAM은 두 배로 잡아먹습니다.

Part 4: 로컬 RAG 에이전트 만들기 (Python 실습)

Ollama와 LangChain을 사용하여 내 컴퓨터에 있는 문서와 대화하는 챗봇을 만들어 봅시다.

준비물:

pip install langchain langchain-community chromadb bs4
ollama pull mistral

코드:

from langchain_community.llms import Ollama
from langchain_community.document_loaders import WebBaseLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.embeddings import OllamaEmbeddings
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA

# 1. 로컬 LLM 설정
llm = Ollama(model="mistral")

# 2. 데이터 로드 (예: 블로그 포스트)
loader = WebBaseLoader("https://example.com/some-article")
data = loader.load()

# 3. 텍스트 분할
text_splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=0)
splits = text_splitter.split_documents(data)

# 4. 임베딩 및 저장 (전부 로컬에서!)
# Nomic-embed-text는 훌륭한 로컬 임베딩 모델입니다.
embeddings = OllamaEmbeddings(model="nomic-embed-text")
vectorstore = Chroma.from_documents(documents=splits, embedding=embeddings)

# 5. 질의응답
qa_chain = RetrievalQA.from_chain_type(llm, retriever=vectorstore.as_retriever())
question = "이 글의 핵심 내용이 뭐야?"
result = qa_chain.invoke({"query": question})

print(result['result'])

주목하세요: API 키가 없습니다. 모델을 처음 다운로드할 때를 제외하면 인터넷 연결조차 필요 없습니다. 이 모든 파이프라인이 여러분의 노트북 안에서 돌아갑니다.

결론: 미래는 하이브리드입니다

미래는 "클라우드 vs 로컬"의 대결이 아닙니다. **하이브리드(Hybrid)**입니다.
자동완성, 요약, 민감한 데이터에 대한 RAG 같은 작업은 작고 빠른 8B 모델을 로컬에서 돌리고, 복잡한 법률 계약서 분석이나 아키텍처 설계 같은 무거운 추론 작업은 클라우드의 GPT-4o나 Claude Opus에게 맡기게 될 것입니다.

하지만 지금 당장, 지연 시간 0초, 데이터 유출 가능성 0%의 "시니어 엔지니어"급 AI를 내 컴퓨터에서 돌릴 수 있다는 것은 엄청난 슈퍼파워입니다. 터미널을 열고 ollama run llama3를 입력해보세요.

로컬 저항군에 합류하신 것을 환영합니다.

AI EngineeringLocal LLMOllamaLlama 3Privacy