apache iceberg1 트랜잭션 데이터 레이크 구축하기: Amazon Data Firehose와 Apache Iceberg 활용 출처: https://www.youtube.com/watch?v=uyuZjKeoAS4&list=PLORxAVAC5fUWoPJqJxJavUNK_QI8EFWP_ "> 데이터 분석의 세계는 끊임없이 진화하고 있으며, 기존의 관계형 데이터베이스 관리 시스템(RDBMS)만으로는 대량의 데이터를 효과적으로 처리하고 빈번한 업데이트나 삭제를 관리하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해 등장한 것이 바로 '데이터 레이크'입니다. 특히 S3와 같은 분산 파일 시스템을 활용하여 스토리지와 쿼리 엔진을 분리함으로써 뛰어난 확장성을 제공합니다.하지만 S3 기반의 데이터 레이크에도 도전 과제가 있습니다. S3 객체는 기본적으로 불변하기 때문에 데이터 업데이트나 삭제가 어렵다는 점입니다. "병합-온-읽기"와 같은 .. 2025. 7. 20. 이전 1 다음