Amazon Redshift 아키텍처 이해

Amazon Redshift 개요

Amazon Redshift는 AWS의 완전관리형 클라우드 데이터 웨어하우스 서비스입니다.

엔터프라이즈 기업들은 온프레미스 상에서 데이터 웨어하우스를 운영해 왔습니다. 그러나 클라우드 기반으로 워크로드로 마이그레이션이 되면서 기존의 데이터웨어 하우스의 운영의 한계를 맞이하게 됩니다. 정형 및 비정형의 페타급 이상의 데이터가, 다양한 유형의 시스템에서 수집이 되고 분석 요청이 생겼기 때문입니다. 기존의 온프레이스 데이터 웨어하우스는 용량과 운영, 성능에서 문제가 발생하였기 때문입니다. 

이러한 환경의 변화로 AWS 관리형 데이터웨어하우스인 Redshift가 나타나게 되었습니다.

 

Redshift는 전통적인 온프레미스 데이터 웨어하우스에 비해 구축 및 유지 관리가 훨씬 간단하며, 초당 수백만 행의 데이터를 처리할 수 있을 정도로 뛰어난 성능을 자랑합니다.

Redshift는 특히 다음과 같은 특징을 가지고 있습니다:

• MPP(Massively Parallel Processing) 기반 아키텍처
  • 데이터와 쿼리를 여러 노드에 병렬 분산하여 고속 처리
• SQL 호환성
  • PostgreSQL을 기반으로 하며, 대부분의 SQL 문법을 지원
• S3, DynamoDB, Glue 등과의 강력한 통합성
  • AWS 생태계 내 다양한 데이터 소스와 직접 연결 가능
• 자동 백업 및 스냅샷 기능 제공
  • 운영 데이터의 안정성과 복구 편의성 확보
• Redshift Spectrum 기능
  • S3에 저장된 데이터를 Redshift로 로딩 없이 직접 쿼리 가능

또한, Redshift는 서버리스(Serverless) 옵션도 제공하여, 사용자는 인프라 구성이나 용량 계획 없이도 필요한 만큼의 리소스를 사용하고, 그에 맞게 비용을 지불할 수 있습니다. 이 점은 빠르게 변화하는 트래픽 상황에 유연하게 대응해야 하는 현대적인 데이터 분석 환경에 매우 적합합니다.

 

구성요소

Redshift의 대용량의 데이터 처리와 분석을 위한 구조를 가지고 있습니다. 다음은 Redshift의 주요 구성요소로, 각 요소의 역할을 이해하면 Redshift의 아키텍처를 더 명확하게 파악할 수 있습니다.

 

1. 클러스터(Cluster)

• Redshift의 핵심 단위로, 하나의 클러스터는 여러 개의 노드(Node)로 구성됩니다.
• 클러스터 생성 시 다음을 설정합니다:
  • 노드 유형 (Dense Compute 또는 RA3)
  • 노드 수량
  • 스냅샷 및 백업 설정
  • 보안 및 접근 제어 (VPC, IAM)

2. 노드(Node)

• 클러스터 내부에서 데이터 저장과 쿼리 처리를 담당하는 실제 인스턴스입니다.
• 종류:
  • 리더 노드(Leader Node)
    • 쿼리 수신 및 실행 계획 생성 담당
  • 컴퓨트 노드(Compute Node)
    • 실질적인 데이터 처리 수행
• 리더 노드는 클라이언트와의 인터페이스 역할을 하며, 컴퓨트 노드에 작업을 분산시킵니다.

3. WLM (Workload Management)

• 쿼리의 우선순위, 실행 제한 시간, 동시 실행 수 등을 관리하는 기능
• 사용 목적:
  • 중요 쿼리에 리소스를 더 많이 할당
  • 대량 분석 작업과 사용자 인터랙션 작업을 분리하여 성능 최적화

4. 데이터 공유 (Data Sharing)

• RA3 노드 유형에서 사용할 수 있는 기능으로, 복제 없이 클러스터 간 실시간 데이터 공유 가능
• 특징:
  • 실시간 업데이트 반영
  • 팀, 부서 간 데이터 협업 강화
  • 데이터 복제 및 저장 비용 절감

이러한 구성 요소를 활용하면 Redshift는 단순한 데이터 저장소가 아닌, 유연한 분석 플랫폼으로 활용될 수 있습니다.

 

동작방식 및 활용

Redshift의 동작 방식은 성능과 안정성, 확장성 측면에서 매우 정교하게 설계되어 있습니다. 실무에 적용하기 위해서는 이 동작 흐름을 이해하고, 상황에 맞게 최적화하는 전략이 필요합니다.

 

1. 쿼리 실행 구조

• 사용자가 SQL 쿼리를 전송하면 리더 노드가 이를 파싱하고 실행 계획을 수립
• 이후 각 컴퓨트 노드에 병렬로 작업이 분배되어 수행
• 최종 결과는 리더 노드를 통해 다시 사용자에게 반환

2. 스토리지 최적화 전략

• Redshift는 컬럼 기반 저장 방식을 채택하여 대용량 집계에 최적화
• 압축 인코딩 사용:
  • 데이터 유형에 따라 자동 또는 수동 압축 방식 선택 가능
  • 저장 공간과 I/O 성능 동시 향상

3. 실무에서의 활용 방식

• BI 도구 연동:
  • Tableau, Power BI, Quicksight 등과 쉽게 연동
  • 시각적 분석 및 대시보드 구현
• ETL 및 데이터 적재:
  • AWS Glue, Lambda, Data Pipeline 등과의 통합을 통해 자동화된 데이터 파이프라인 구축
• Redshift Spectrum:
  • S3에 저장된 데이터를 직접 쿼리하여, 고비용의 Redshift 스토리지를 최소화하고 유연한 데이터 분석 가능
• 자동화 및 모니터링:
  • CloudWatch를 통한 쿼리 모니터링
  • 이벤트 트리거 기반 알림 설정 가능

4. 비용 최적화 팁

• 사용량 기반의 서버리스 Redshift 사용 시, 다음과 같은 전략이 유효:
  • 쿼리 실행 빈도가 낮은 경우, 서버리스가 더 저렴
  • 분석 일정이 예측 가능한 경우, 리저브 인스턴스(RI) 활용으로 비용 절감

 Redshift는 게임, 이커머스, 교육기관 등 다양한 산업군에서 분석 인프라의 핵심으로 자리 잡고 있습니다. 고속 쿼리 처리 능력과 AWS와의 뛰어난 통합성은 클라우드 기반에서 비즈니스를 시작하는 기업의 분석 플랫폼으로서 좋은 선택이 될 수 있습니다.