로컬 LLM이란 무엇이고, 언제 필요한가요?
로컬 LLM은 공개된 AI 모델을 회사 서버나 사내망에 설치해, 질문과 문서가 외부로 나가지 않게 쓰는 방식입니다. 클라우드 AI 서비스는 편리하지만 입력한 데이터가 외부 서버로 전송됩니다. 고객 개인정보, 계약서, 설계 자료처럼 외부 전송 자체가 부담스러운 데이터를 다룬다면 로컬 LLM을 검토할 만합니다.
다음 중 하나라도 해당하면 로컬 구축을 고려해 보세요.
- 보안 지침상 내부 문서를 외부 AI 서비스에 입력할 수 없다
- 인터넷이 차단된 업무망에서 AI를 써야 한다
- 같은 작업을 매일 대량으로 반복해 API 사용료가 계속 늘고 있다
- 모델이 바뀌어 결과가 달라지는 일 없이 같은 버전을 오래 써야 한다
클라우드 AI와 로컬 LLM은 무엇이 다른가요?
가장 큰 차이는 데이터 위치와 비용 구조입니다. 클라우드는 쓴 만큼 내고, 로컬은 초기 장비 비용을 먼저 냅니다.
| 구분 | 클라우드 AI API | 로컬 LLM |
|---|---|---|
| 데이터 위치 | 외부 서비스 서버 | 회사 서버·사내망 |
| 초기 비용 | 거의 없음 | GPU 서버 구매 또는 임대 |
| 운영 비용 | 사용량 비례 | 전기료, 유지보수 인력 |
| 모델 성능 | 최신 상용 모델 사용 가능 | 오픈 모델 범위 내 |
| 인터넷 차단망 | 사용 불가 | 사용 가능 |
| 모델 버전 관리 | 제공사 일정에 따름 | 직접 고정 가능 |
두 방식을 섞는 경우도 많습니다. 민감한 문서는 로컬 모델이, 공개 자료 기반의 일반 질문은 클라우드 모델이 처리하도록 나누는 구조입니다.
2026년에는 어떤 모델을 쓸 수 있나요?
상업적으로 쓸 수 있는 오픈 웨이트 모델이 여럿 있습니다. 2026년 10월 기준으로 많이 검토되는 모델은 다음과 같습니다.
| 모델 | 공개 | 크기 | 라이선스 |
|---|---|---|---|
| gpt-oss-20b / 120b (OpenAI) | 2025년 8월 | 약 21B / 117B (MoE) | Apache 2.0 |
| Qwen3 (Alibaba) | 2025년 4월 | 0.6B~235B | Apache 2.0 |
| EXAONE 4.0 (LG AI연구원) | 2025년 7월 | 1.2B / 32B | 기본 비상업, 상업 이용은 별도 계약 |
벤치마크 점수만 보고 고르면 안 됩니다. 한국어 업무 문서는 모델마다 품질 차이가 크므로, 실제 사내 문서로 만든 질문 30~50개로 후보 모델을 직접 비교해 보셔야 합니다.
GPU는 얼마나 필요한가요?
필요한 GPU 메모리는 모델 크기 × 정밀도로 대략 계산할 수 있습니다. 16비트(FP16)는 파라미터당 2바이트, 4비트 양자화는 약 0.5바이트입니다.
| 모델 크기 | FP16 | 4비트 양자화 |
|---|---|---|
| 8B | 약 16GB | 약 4~5GB |
| 32B | 약 64GB | 약 16~18GB |
| 70B | 약 140GB | 약 35~40GB |
여기에 긴 문서를 처리할 때 쓰는 KV 캐시 메모리와 동시 사용자 수만큼 여유가 더 필요합니다. 참고로 OpenAI는 gpt-oss-20b가 16GB 메모리 환경에서, gpt-oss-120b가 80GB GPU 1장에서 동작한다고 밝혔습니다.
장비 가격은 변동이 큽니다. NVIDIA RTX 5090(32GB)의 출시가는 1,999달러였지만 2026년 하반기 시장가는 이보다 크게 높고, 96GB 메모리의 RTX PRO 6000 Blackwell도 2026년 들어 1만 달러를 넘는 가격에 거래된다는 보도가 있습니다. 구매 전에 반드시 국내 공급사 견적을 받아 보시고, 검증 단계에서는 GPU 클라우드를 시간 단위로 빌려 쓰는 방법도 있습니다.
로컬 LLM 시스템은 무엇으로 구성되나요?
모델만 설치한다고 끝나지 않습니다. 실무에서 쓰려면 보통 다섯 가지가 함께 필요합니다.
- 1추론 서버: 모델을 띄워 요청을 처리합니다. 소규모 검증에는 Ollama, 여러 사용자가 동시에 쓰는 환경에는 vLLM이 많이 쓰입니다.
- 2문서 검색(RAG): 사내 문서를 찾아 근거로 붙여 답하게 합니다. 사내 지식을 쓰는 업무 대부분은 파인튜닝보다 RAG가 먼저입니다.
- 3권한 관리: 부서·직급별로 볼 수 있는 문서를 제한합니다.
- 4사용 기록: 누가 무엇을 물었고 어떤 문서가 근거였는지 남깁니다.
- 5사용자 화면: 웹 채팅이나 기존 그룹웨어 연동 화면입니다.
개인정보보호위원회는 2025년 8월 「생성형 AI 개발·활용을 위한 개인정보 처리 안내서」를 배포했습니다. 로컬로 구축하더라도 개인정보가 들어간 문서를 다룬다면 목적 설정, 접근 통제, 보관 기간 같은 기준은 그대로 지켜야 합니다.
어떤 순서로 도입하면 실패가 적을까요?
작은 모델로 업무 하나를 먼저 검증하고, 그 결과로 장비를 고르는 순서가 안전합니다.
- 1업무 1개 선정: 규정 검색, 민원 답변 초안처럼 범위가 분명한 업무
- 2평가 질문 작성: 현업 담당자가 정답을 아는 질문 30~50개
- 3후보 모델 비교: GPU 클라우드나 기존 PC에서 2~3개 모델 시험
- 4장비 결정: 필요한 모델 크기와 동시 사용자 수로 GPU 사양 산정
- 5사내 설치와 운영: 권한, 로그, 백업, 모델 업데이트 절차 정리
공공기관이라면 행정안전부가 2026년 6월 배포한 「공공부문 AI 도입·활용 가이드」의 기획-예산-계약-구축-운영 5단계 절차도 함께 참고하시기 바랍니다.
저희 미라클스튜디오는 교육기관의 문항 생성 시스템을 구축하면서, 외부 API뿐 아니라 로컬 모델로도 동작하도록 설계한 경험이 있습니다. 처음부터 모델을 교체할 수 있게 만들어 두면, 보안 요구나 비용 조건이 바뀌어도 시스템을 다시 만들 필요가 없습니다.
사내망 AI 도입을 검토 중이시라면, 미라클스튜디오 30분 무료 상담에서 업무 범위와 필요한 장비 규모를 함께 가늠해 드립니다.
참고 자료
- Introducing gpt-oss - OpenAI
- Qwen3: Think Deeper, Act Faster - Qwen
- EXAONE 4.0 소개 - LG AI연구원
- EXAONE AI Model License 1.2 NC - ScanCode LicenseDB
- NVIDIA RTX PRO 6000 Blackwell 가격 상승 보도 - Digital Citizen
- 공공 AI 구축, 더 쉽고 빠르게 「공공부문 AI 도입·활용 가이드」 배포 - 행정안전부(KDI 경제정보센터)
- 생성형 AI 개발·활용을 위한 개인정보 처리 안내서 해설 - 법무법인 세종
- Ollama · vLLM 문서
