Datadog: Amazon Bedrock 기반 LLM 서비스 관측 가능성의 핵심

 

LLM(대규모 언어 모델) 서비스를 고려 중이거나 이미 구현하고 계신가요? 그렇다면 운영상의 복잡성을 잘 알고 계실 것입니다. 이 게시물은 Datadog의 기술 지원 전문가이자 AWS 앰배서더인 이현진 님의 발표에서 영감을 받아, Datadog이 Amazon Bedrock 기반 LLM 서비스에 대한 관측 가능성을 달성하는 데 어떻게 도움이 되는지 탐구합니다.

LLM 서비스 운영의 과제

LLM 서비스를 운영하는 것은 여러 가지 과제를 제시합니다.

• 복잡성: 최신 IT 환경은 이미 VM, 컨테이너, 미들웨어 및 해당 종속성으로 인해 복잡합니다. LLM은 에이전트 통신, 데이터 흐름, 임베딩 프로세스 및 검색 메커니즘으로 인해 또 다른 복잡성을 추가합니다.
• 모델 성능 평가: LLM 성능을 평가하는 것은 매우 중요합니다. 여기에는 응답 시간, 오류율 및 답변 품질 모니터링이 포함되며, 환각 또는 악의적인 응답과 같은 문제에 대한 방어가 필요합니다.
• 보안 위협: Amazon Bedrock을 포함한 LLM 서비스는 공격자들의 표적이 되고 있습니다. 프롬프트 인젝션 및 임베디드 데이터에 대한 무단 액세스는 중요한 문제입니다.
• 비용 가시성 및 최적화: Bedrock의 종량제 모델은 유연하지만, 토큰 사용량 및 모델 선택에 따라 예측할 수 없는 비용이 발생할 수 있습니다. 이러한 비용을 최적화하려면 사용 패턴에 대한 명확한 가시성이 필요합니다.
• 호스팅 선택: AWS Lambda와 같은 올바른 호스팅 방법을 선택하는 것은 AI 서비스에 대한 사용 편의성과 잠재적인 성능 또는 비용 영향 사이에서 절충해야 합니다.

Datadog으로 해결: LLM 관측 가능성 달성

Datadog은 이러한 운영상의 어려움을 해결하고 LLM 서비스에 대한 심층적인 가시성을 제공하는 포괄적인 플랫폼을 제공합니다.

• 통합 가시성: Datadog은 인프라에서 애플리케이션 및 비즈니스 계층에 이르기까지 전체 스택에 대한 전체적인 보기를 제공합니다. LLM 서비스의 경우 API 게이트웨이 및 Lambda 함수에서 데이터 검색 및 모델 상호 작용에 이르기까지 전체 흐름을 시각화할 수 있습니다.
• 성능 모니터링: Datadog은 Langchain 및 Amazon Bedrock과 같은 주요 LLM 라이브러리를 지원하여 주요 메서드 및 메트릭을 모니터링할 수 있습니다. 응답 속도, 오류율을 추적하고 LLM 응답을 비교하여 답변 품질을 평가하는 데도 도움이 됩니다.
• 보안 모니터링: Datadog의 보안 기능은 프롬프트 인젝션과 같은 위협을 감지하고 응답에서 민감한 데이터(예: PII, 신용 카드 번호)가 노출되는지 식별하는 데 도움이 될 수 있습니다.
• 비용 관리: Datadog은 Bedrock뿐만 아니라 다양한 플랫폼에서 LLM 관련 비용을 추적하는 대시보드를 제공합니다. 이러한 가시성은 모델 선택, RAG 구현 및 캐싱 전략에 대한 정보에 입각한 결정을 내려 지출을 최적화하는 데 핵심입니다.
• 통찰력 있는 분류: 뛰어난 기능은 Datadog이 사용자 쿼리를 분류하는 기능입니다. 이는 사용자가 어떤 정보를 찾고 있는지에 대한 귀중한 통찰력을 제공하여 문서 또는 LLM의 지식 기반을 개선해야 할 영역을 강조합니다. 이는 비즈니스 전략 및 제품 개발에 직접적인 정보를 제공할 수 있습니다.
• 종단 간 추적: Datadog은 프런트 엔드에서 LLM 모델을 거쳐 다시 돌아오는 요청을 추적할 수 있습니다. 이는 병목 현상을 정확히 찾아내고 사용자 경험을 이해하는 데 도움이 됩니다.
• 사용자 정의 가능한 대시보드 및 사전 구축된 템플릿: Datadog은 호출 수, 오류, 모델별 성능 및 제한 추적을 보여주는 Bedrock 모니터링을 위한 사전 구축된 대시보드를 제공합니다. 사용자는 특정 요구 사항에 맞게 사용자 정의 대시보드를 만들 수도 있습니다.
• 피드백 통합: 사용자 피드백(예: 답변에 대한 "좋아요/싫어요")을 Datadog에 통합하여 LLM 성능을 평가하고 개선하기 위한 또 다른 데이터 계층을 제공할 수 있습니다.
• 환각 감지(예정): Datadog은 LLM 출력을 알려진 데이터 세트와 비교하여 환각을 감지하는 기능을 개발 중입니다.

실용적인 예: 커뮤니티 챗봇

발표자는 웹 크롤링을 통해 Datadog 문서 및 블로그에서 지식을 가져와 Amazon Bedrock을 사용하여 구축된 챗봇을 시연했습니다. Datadog은 이 챗봇을 모니터링하는 데 사용되었으며 다음을 보여주었습니다.

• 트랜잭션 볼륨 추적.
• 사용자 질문 분류(예: "Datadog 설치 방법", "APM 구성").
• 오류율 및 특정 실패한 트랜잭션 식별.
• 프롬프트 인젝션 시도와 같은 보안 이벤트 모니터링.
• 응답 품질 및 사용자 감정 평가.
• 운영 비용 시각화.

아키텍처

데모 애플리케이션은 간단한 아키텍처를 사용했습니다.

• 프런트 엔드: Next.js가 포함된 Amplify.
• 백엔드: 처리를 위한 AWS Lambda(Lambda URL 사용).
• 데이터베이스: 대화 기록(체인)을 위한 DynamoDB.
• LLM: Amazon Bedrock(특히 Claude 모델).
• 지식 기반: 웹 크롤링 Datadog 문서 및 블로그(EventBridge를 통해 예약됨)로 채워진 벡터 저장소를 위한 OpenSearch.

주요 시사점

LLM 서비스가 더욱 보편화됨에 따라 강력한 관측 가능성은 사치가 아니라 필수입니다. Datadog은 다음을 위한 강력한 도구 모음을 제공합니다.

• LLM 모니터링의 복잡성 단순화.
• 모델 성능 및 답변 품질을 효과적으로 평가.
• 보안 위험 완화.
• 비용에 대한 통제력 확보.
• 데이터 기반 통찰력을 기반으로 LLM 서비스를 지속적으로 개선.

Datadog을 Amazon Bedrock과 함께 활용하면 LLM 애플리케이션을 자신 있게 배포하고 관리하여 성능, 보안 및 비용 효율성을 보장할 수 있습니다.