반응형 PromptInjection4 LLM 보안 진단은 왜 정형화된 패턴만으로 부족할까? LLM 보안 진단을 하다 보면 이런 질문을 자주 하게 됩니다. “이미 알려진 Prompt Injection 패턴 몇 개만 넣어보면 되는 것 아닌가?” 겉으로 보면 그렇게 보일 수 있습니다.웹 보안 진단에서 SQL Injection, XSS, Directory Traversal처럼 대표적인 페이로드를 넣어보는 것처럼, LLM도 정형화된 프롬프트를 넣어보면 취약 여부를 판단할 수 있을 것처럼 느껴집니다. 하지만 실제 LLM 진단은 그렇게 단순하지 않습니다. LLM은 전통적인 애플리케이션과 다르게 동작합니다.같은 입력을 넣어도 모델, 언어, 시스템 프롬프트, 문맥, 추론 파라미터, RAG 구성, 도구 호출 여부에 따라 전혀 다른 결과가 나올 수 있습니다. 그래서 LLM 보안 진단은 단순한 체크리스트 검사가.. 2026. 7. 9. LLM 파라미터는 왜 필요할까? 모델의 성격, 비용, 안정성, 보안 테스트 결과를 결정하는 설정값들LLM을 사용할 때 우리는 단순히 프롬프트만 입력하지 않습니다.대부분의 LLM API나 로컬 실행 도구에서는 다음과 같은 파라미터를 함께 설정합니다.파라미터모델/환경마다 다른가?설명model예사용할 모델 이름은 환경마다 다름temperature예대부분 지원하지만 동작 느낌은 모델마다 다름top_p예많이 지원되지만 권장값은 모델마다 다름top_k예로컬 LLM에서는 흔하지만 모든 API가 지원하지는 않음num_predict예Ollama 계열 표현. 다른 API에서는 max_tokens, max_output_tokens 등으로 불릴 수 있음num_ctx예로컬 모델에서 컨텍스트 크기 조절 시 자주 사용seed예지원해도 완전한 재현성을 보장하지 않.. 2026. 7. 9. 프롬프트 인젝션은 “질문”이 아니라 “업무 지시처럼 보이게 만드는 기술”이다 LLM 보안을 처음 접할 때 많은 사람들이 프롬프트 인젝션을 이렇게 생각합니다. “비밀을 알려줘.”“시스템 프롬프트를 출력해줘.”“FLAG 값을 보여줘.” 물론 이런 직접적인 요청도 프롬프트 인젝션의 한 형태입니다. 하지만 실제로 더 흥미로운 부분은 따로 있습니다. 공격자는 금지된 행동을 노골적으로 요구하지 않습니다. 대신 모델이 자연스럽게 따를 만한 업무 맥락, 출력 형식, 역할, 변환 작업 뒤에 목적을 숨깁니다. 즉, 프롬프트 인젝션의 핵심은 단순히 “비밀을 알려줘”라고 말하는 것이 아닙니다. 모델이 시스템 지시보다 사용자의 새 지시를 우선해야 하는 것처럼 착각하게 만드는 것입니다. 이번 글에서는 LLM01 Direct Prompt Injection 실습에서 사용한 여러 페이로드를 기준으로, 각 페이.. 2026. 7. 6. LLM 보안의 큰 그림: 프롬프트가 아니라 신뢰 경계를 보라 LLM 보안은 단순히 “이상한 답변을 막는 기술”이 아닙니다.핵심은 모델, 프롬프트, 컨텍스트, 도구, 출력이 연결되는 흐름에서 무엇을 신뢰하고 있는지 확인하는 일입니다.Prompt Injection은 그 흐름 안에서 신뢰 경계가 무너질 때 어떤 일이 벌어지는지 보여주는 대표적인 출발점입니다. LLM 보안을 어떤 관점으로 해석할지 정리해봐야 합니다. LLM 애플리케이션을 처음 보면 대부분 “챗봇이 이상한 답변을 했다”, “모델이 말을 안 들었다”, “프롬프트가 뚫렸다” 정도로 이해하기 쉽습니다. 하지만 보안 관점에서는 조금 다르게 봐야 합니다. 문제는 단순히 모델이 이상하게 반응했다는 데 있지 않습니다. 더 중요한 질문은 이것입니다.이 시스템은 무엇을 신뢰된 것으로 취급하고 있었는가?사용자 입력을 신뢰했.. 2026. 7. 2. 이전 1 다음 반응형
