본문 바로가기

docker41

Ollama란 무엇인가 — Docker 컨테이너로 로컬 LLM 설치하고 API까지 사용하기 ChatGPT나 Claude처럼 외부 AI 서비스를 호출하는 대신, 자신의 PC나 서버에서 직접 대규모 언어 모델을 실행하고 싶을 때 가장 먼저 접하는 도구 중 하나가 Ollama입니다. 복잡한 추론 엔진 설정과 모델 파일 관리를 감추고 ollama run이라는 단순한 명령과 HTTP API를 제공하기 때문입니다. Ollama를 운영체제에 직접 설치할 수도 있지만 Docker 컨테이너로 실행하면 설치 파일과 실행 환경을 분리하고, 버전 교체와 삭제·복구를 일관된 방식으로 관리할 수 있습니다. 반면 GPU 연결과 모델 데이터 영속화, 네트워크 노출은 컨테이너 환경에서 따로 이해해야 합니다. 이 글에서는 Ollama의 역할과 내부 구조를 먼저 살펴본 다음 CPU, NVIDIA GPU, AMD GPU 환경에서.. 2026. 8. 1.
GPU Ollama 컨테이너 기반 보안 AI 웹앱 만들기 Flask + Ollama + NVD API로 Local CVE Analyst 만들기이번 튜토리얼에서는 이미 GPU 기반으로 실행 중인 Ollama 컨테이너를 활용해서 직접 웹 애플리케이션을 만들어보겠습니다. 단순히 “LLM에게 질문하는 챗봇”이 아니라, 외부 API에서 실제 데이터를 가져오고, 그 데이터를 로컬 LLM이 분석하도록 구성합니다. 예제로 만들 앱은 Local CVE Analyst입니다. 사용자가 CVE ID 또는 키워드를 입력하면 Flask 앱이 NVD API에서 취약점 정보를 조회하고, Ollama에 실행 중인 로컬 LLM이 해당 취약점을 한국어로 요약·분석해주는 구조입니다. Ollama의 /api/chat 엔드포인트는 model, messages를 입력받아 대화형 응답을 생성할 수 있고.. 2026. 7. 4.
docker pull nginx 한 줄에 숨은 비밀 — 도메인을 생략하면 어디로 가는가? 🐳 "왜 nginx만 쳤는데 이미지가 받아져요?" — 입문자가 가장 먼저 궁금해하는 이 질문 한 줄에, Docker 레지스트리의 핵심 철학이 전부 담겨 있다.🎯 이 글에서 다루는 것Docker 이미지 참조(reference)의 전체 포맷과 생략 규칙nginx → docker.io/library/nginx:latest로 확장되는 3단계 메커니즘순정 Docker Engine에서 기본 레지스트리를 바꿀 수 있는지 (스포일러: 없다)registry-mirrors, Podman의 unqualified-search-registries로 우회하는 실전 방법짧은 이름(short name)이 부르는 보안 위협 — typosquatting📌 왜 이 주제가 중요한가하루에도 수십 번 치는 docker pull nginx. 너.. 2026. 4. 18.
레거시 환경을 클라우드로? "일단 올리면 된다"는 착각 🚀 "서버 그대로 AWS에 올리면 되는 거 아닌가요?" — 마이그레이션 현장에서 가장 많이 듣는 말이자, 가장 위험한 착각이다.🎯 이 글에서 다루는 것레거시 앱 클라우드 이전 전, 반드시 해야 할 호환성 분석AWS 마이그레이션 도구(MGN)가 커널 문제를 해결해주지 않는 이유컨테이너로 해결 가능한 케이스와 구체적인 Dockerfile 예제KVM이 불가피한 케이스와 AWS Bare Metal 구성 방법판단 기준을 정리한 최종 의사결정 트리📌 도입 — "올리는 것"과 "돌아가는 것"은 다르다레거시 시스템 마이그레이션 프로젝트에서 흔히 벌어지는 일이 있다. AWS MGN(Application Migration Service)으로 서버를 통째로 복제해서 EC2에 올렸는데, 앱이 시작조차 안 되는 상황이다. 이유.. 2026. 4. 14.
쿠버네티스는 왜 도커를 버렸나? — 배신인가, 진화인가 🐋 "도커가 죽었다!" 2020년 말, 이 소식이 퍼지자 커뮤니티는 패닉에 빠졌다. 그런데 실제로 무슨 일이 있었던 걸까?🎯 이 글에서 다루는 것쿠버네티스가 왜 도커를 제외했는지 (진짜 이유)dockershim이 뭔지, 왜 문제가 됐는지containerd, CRI-O 등 대안 런타임이 뭔지도커 이미지(docker build)는 여전히 쓸 수 있는지개발자·운영자가 실제로 뭘 바꿔야 하는지📌 도입 / 배경2020년 12월, Kubernetes 공식 블로그에 폭탄 같은 글 하나가 올라왔습니다."Kubernetes is deprecating Docker as a container runtime." 이 한 문장이 트위터, Reddit, 슬랙 채널을 불태웠습니다. Kubernetes의 공동 창시자 Joe Beda.. 2026. 3. 31.
🔐 SSH로 Docker 소켓에 안전하게 접근하기 — 포트 2375 열지 마세요! Docker 소켓을 인터넷에 직접 노출하는 것은 서버에 root 계정을 공개하는 것과 다름없습니다.🎯 이 글에서 다루는 것Docker 소켓(/var/run/docker.sock)이 왜 위험한지SSH 터널로 Docker 소켓에 안전하게 접근하는 3가지 방법DOCKER_HOST 환경변수 vs docker context 비교CI/CD 파이프라인에서의 실전 활용놓치기 쉬운 보안 실수 모음📌 도입 / 배경원격 서버의 Docker를 관리하고 싶을 때 가장 먼저 떠오르는 방법이 있습니다. Docker 데몬의 TCP 포트(2375 또는 2376)를 열고 외부에서 접근하는 것이죠. 하지만 잠깐, 이건 정말 위험한 선택입니다.Docker 데몬은 기본적으로 로컬 클라이언트의 요청만 받는 Unix 소켓에서 수신 대기합니다.. 2026. 3. 31.