LLM 서비스 보안은 무엇을 기준으로 점검하나요?
가장 널리 쓰이는 기준은 OWASP Top 10 for LLM Applications입니다. 웹 보안의 OWASP Top 10처럼, LLM을 붙인 서비스에서 자주 터지는 위험 10가지를 정리한 목록으로, 2026년 8월 3일 2026년판이 공개됐습니다.
| 2026 | 항목 | 2025 순위 | 사내 챗봇·에이전트에서 생기는 일 |
|---|---|---|---|
| LLM01 | Prompt Injection | 1 | 입력이나 문서에 숨긴 지시로 모델의 행동이 바뀜 |
| LLM02 | Sensitive Information Disclosure | 2 | 다른 사람의 데이터나 내부 정보가 답변에 섞여 나옴 |
| LLM03 | Excessive Agency | 6 | 필요 이상의 도구·권한·자율성 부여 |
| LLM04 | Supply Chain | 3 | 검증 안 된 모델·플러그인·라이브러리 사용 |
| LLM05 | Data and Model Poisoning | 4 | 학습·참조 데이터에 조작된 내용이 섞임 |
| LLM06 | Unbounded Consumption | 10 | 과도한 호출로 비용 폭증·서비스 마비 |
| LLM07 | Misinformation | 9 | 사실이 아닌 답변을 업무에 그대로 사용 |
| LLM08 | Hidden Context Exposure | 7 (System Prompt Leakage) | 시스템 프롬프트, 검색 문서, 에이전트 메모리가 노출 |
| LLM09 | Vector and Embedding Weaknesses | 8 | RAG 검색에서 권한 없는 문서가 조회됨 |
| LLM10 | Improper Output Handling | 5 | 모델 출력을 검증 없이 SQL·HTML·셸에 넘김 |
2026년판의 가장 큰 변화는 과도한 권한(Excessive Agency)이 6위에서 3위로 오른 것입니다. 모델에 도구를 붙여 실제 작업을 시키는 경우가 늘었다는 뜻입니다. 이번 판은 전문가 합의에 더해 실제 사고 데이터를 순위 산정에 반영했고, 2025년판의 System Prompt Leakage는 범위를 넓혀 Hidden Context Exposure로 바뀌었습니다. 아직 2025년판 번호(예: LLM07 System Prompt Leakage)로 쓰인 자료가 많으니, 문서를 볼 때 연도를 확인하세요.
OWASP는 2025년 12월 에이전트에 초점을 맞춘 OWASP Top 10 for Agentic Applications 2026도 공개했습니다. 목표 탈취(Agent Goal Hijack), 도구 오용(Tool Misuse and Exploitation), 권한 남용 같은 항목이 들어 있어, 실행 권한이 있는 에이전트를 만든다면 함께 보는 것이 좋습니다.
프롬프트 인젝션은 왜 막기 어렵나요?
모델은 지시와 데이터를 구분하지 못하기 때문입니다. 시스템 프롬프트, 사용자 입력, 검색해 온 문서가 모두 같은 텍스트로 모델에 들어가므로, 문서 안에 "이전 지시를 무시하고 다음을 수행하라"는 문장이 있으면 그대로 따를 수 있습니다.
- 직접 인젝션: 사용자가 채팅창에 공격 문장을 입력합니다.
- 간접 인젝션: 모델이 읽는 이메일, 웹페이지, 첨부파일, 도구 설명에 공격 문장이 숨어 있습니다. 사용자는 아무것도 하지 않아도 됩니다.
간접 인젝션의 대표 사례가 2025년 6월 공개된 EchoLeak(CVE-2025-32711)입니다. Aim Security가 Microsoft 365 Copilot에서 찾은 이 취약점은 조작된 이메일 한 통으로 Copilot이 접근할 수 있는 사내 데이터를 외부로 빼낼 수 있었고, 마이크로소프트는 서버 측에서 수정했습니다.
개발자 사이먼 윌리슨은 에이전트가 다음 세 가지를 동시에 가지면 공격자가 쉽게 데이터를 빼낼 수 있다며 이를 '치명적 삼요소(lethal trifecta)'라고 불렀습니다.
- 1사내 데이터에 접근할 수 있다
- 2외부에서 온 신뢰할 수 없는 콘텐츠를 읽는다
- 3외부로 데이터를 보낼 수 있다(메일 발송, URL 요청, 이미지 로드 등)
설계 단계에서 이 세 가지 중 하나를 끊는 것이 가장 확실한 대책입니다. 예를 들어 외부 메일을 요약하는 에이전트에는 외부 전송 기능을 주지 않는 식입니다.
에이전트 권한은 어떻게 설계해야 하나요?
최소 권한, 사람 승인, 기록 세 가지가 원칙입니다. OWASP가 말하는 과도한 권한(Excessive Agency)은 기능, 권한, 자율성이 필요 이상일 때 생깁니다.
| 원칙 | 구체적인 방법 |
|---|---|
| 기능 최소화 | 조회만 필요하면 수정·삭제 도구를 아예 연결하지 않기 |
| 권한 최소화 | 에이전트 전용 계정, 읽기 전용 DB 계정, 범위가 좁은 API 토큰 |
| 사용자 권한 상속 | 질문한 사람이 볼 수 있는 문서만 RAG 검색 결과에 포함 |
| 사람 승인 | 송금, 메일 발송, 데이터 삭제, 외부 공유는 확인 버튼 후 실행 |
| 기록 | 프롬프트, 검색 문서, 도구 호출과 결과를 사용자별로 저장 |
| 사용량 제한 | 사용자별 호출 횟수·토큰 한도, 비정상 패턴 알림 |
시스템 프롬프트에 API 키, 내부 URL, "관리자에게만 알려줄 것" 같은 규칙을 넣는 것도 피해야 합니다. OWASP는 시스템 프롬프트를 비밀로 여기거나 보안 통제 수단으로 쓰지 말고, 권한 검사는 모델과 별개로 서버 코드에서 하라고 권고합니다.
MCP 도구를 연결할 때 무엇을 조심해야 하나요?
MCP 서버는 에이전트에게 새 권한을 주는 일이므로, 설치형 프로그램을 들일 때처럼 검토해야 합니다.
2025년 4월 Invariant Labs는 '도구 오염(Tool Poisoning)' 공격을 공개했습니다. 겉보기엔 평범한 덧셈 도구의 설명문에 숨긴 지시를 넣어, 에이전트가 사용자의 SSH 키와 설정 파일을 읽어 외부로 보내게 만든 사례입니다. 사용자 화면에는 요약된 도구 설명만 보여 이상을 알아채기 어려웠습니다.
MCP 공식 명세의 보안 모범 사례 문서도 로컬 MCP 서버가 사용자와 같은 권한으로 실행된다는 점을 경고하며, 다음을 요구하거나 권고합니다.
- 새 로컬 MCP 서버 연결 전, 실행될 명령 전체를 사용자에게 보여주고 동의받기
- MCP 서버를 샌드박스에서 최소 권한으로 실행하기
- MCP 서버는 자신에게 발급되지 않은 토큰을 받지 않기(token passthrough 금지)
- 처음부터 모든 권한 범위(scope)를 요청하지 말고 필요할 때 단계적으로 받기
국내 법은 어떤 의무를 요구하나요?
챗봇이 개인정보를 처리한다면 개인정보보호법의 안전조치 의무가 먼저 적용됩니다. 대화 로그에 고객 이름, 연락처, 상담 내용이 쌓인다면 접근 권한 관리, 접속기록 보관, 암호화 같은 「개인정보의 안전성 확보조치 기준」을 지켜야 합니다. 개인정보보호위원회는 2025년 8월 「생성형 인공지능 개발·활용을 위한 개인정보 처리 안내서」를 내고, 생성형 AI 도입 단계별로 확인할 사항을 정리했습니다.
2026년 1월 22일 시행된 AI 기본법은 AI 기능을 넣은 서비스를 고객에게 제공하는 사업자에게 사전 고지와 결과물 표시 의무를 둡니다. 사내 업무에만 쓰는 챗봇은 원칙적으로 이용자에 해당한다는 해석이 일반적입니다. 자세한 내용은 AI 기본법 정리 글을 참고하세요.
기술 대책은 과학기술정보통신부와 KISA가 2025년 12월 배포한 「인공지능(AI) 보안 안내서」에서 국내 기준으로 확인할 수 있습니다.
출시 전에 어떻게 점검하나요?
공격자 입장에서 직접 시도해 보는 AI 레드팀 점검을 출시 전과 모델·프롬프트를 바꿀 때마다 반복합니다.
- 1에이전트가 쓸 수 있는 도구와 데이터 목록을 표로 정리합니다.
- 2치명적 삼요소가 한 흐름 안에 모두 있는지 확인합니다.
- 3OWASP 항목별로 공격 문장을 만들어 직접·간접 경로로 넣어 봅니다. 문서 업로드, 웹 검색 결과, 메일 본문에 숨긴 지시를 모두 시험합니다.
- 4다른 사용자의 문서가 검색되는지, 시스템 프롬프트가 새는지 확인합니다.
- 5실패한 공격 문장도 테스트 세트로 저장해 다음 배포 때 자동으로 다시 돌립니다.
미라클스튜디오는 LLM·AI 에이전트 보안 점검과 함께, 데이터가 밖으로 나가면 안 되는 환경에서는 로컬 LLM을 사내망에 구성하는 방식도 제안합니다. 범위는 AI 보안 페이지에 정리돼 있습니다.
운영 중이거나 준비 중인 챗봇·에이전트가 있다면, 미라클스튜디오 30분 무료 상담에서 도구 권한과 데이터 흐름부터 함께 점검해 보세요.
참고 자료
- OWASP Top 10 for LLM Applications 2026 - OWASP GenAI Security Project
- LLM07:2025 System Prompt Leakage - OWASP GenAI Security Project
- OWASP’s 2026 LLM Top 10 and New Agent Control Standard - Cloud Security Alliance
- OWASP Top 10 for Agentic Applications for 2026 - OWASP GenAI Security Project
- Zero-Click AI Vulnerability Exposes Microsoft 365 Copilot Data - The Hacker News
- The lethal trifecta for AI agents: private data, untrusted content, and external communication - Simon Willison
- MCP Security Notification: Tool Poisoning Attacks - Invariant Labs
- Security Best Practices - Model Context Protocol
- 개인정보보호위원회, 생성형 AI 개발·활용을 위한 개인정보 처리 안내서 배포 - 법무법인 세종
- 인공지능(AI) 보안 안내서 - 한국인터넷진흥원
