본문 바로가기
카테고리 없음

Amazon OpenSearch 인덱스 생성 방법, 노드 관리 방법, 클러스터 최적화 방법

by jranke 2025. 3. 13.

Amazon OpenSearch 인덱스 생성 방법

인덱스는 데이터를 저장하고 검색하는 기본 단위입니다. OpenSearch는 대량의 데이터를 빠르게 검색하고 분석할 수 있도록 설계되었으며, 인덱스는 이를 효과적으로 관리하기 위한 핵심 요소입니다. OpenSearch에서 데이터를 효과적으로 검색하고 관리하려면 올바른 인덱스 생성이 필수적입니다. 인덱스는 문서를 저장하고 검색하는 핵심 단위이므로, 적절한 설정이 필요합니다.

Index Status
Index status[출처: AWS]

인덱스 생성 기본 과정

Amazon OpenSearch에서 인덱스를 생성하는 방법은 다음과 같습니다.

  1. OpenSearch Dashboard 접속
    • AWS 콘솔에서 OpenSearch Service로 이동
    • 원하는 도메인을 선택 후 "인덱스 관리(Index Management)"로 이동
  2. 인덱스 매핑 및 설정
    • PUT /my-index API를 활용하여 직접 생성 가능
    • 매핑을 설정하여 필드 유형(숫자, 문자열 등) 정의
  3. 샤드 및 레플리카 설정
    • 샤드(Shard): 데이터를 분할하여 저장하는 단위
    • 레플리카(Replica): 장애 대응을 위한 백업 데이터
  4. 데이터 색인 및 확인
    • POST my-index/_doc/1을 이용해 문서 추가
    • GET my-index/_search로 인덱스된 데이터 검색

인덱스 최적화 기법

  • 필드 유형 최소화: 불필요한 text 필드를 keyword로 변환
  • 샤드 개수 조정: 적절한 개수로 설정하여 리소스 사용 최적화
  • 데이터 압축: _source 필드 비활성화 또는 삭제 주기 설정

 

노드 관리 방법

Amazon OpenSearch 노드는 데이터 저장과 검색을 담당하는 핵심 구성 요소입니다. 올바른 노드 관리는 성능과 가용성을 높이는 데 필수적입니다.

 

노드 종류

  • 마스터 노드 (Master Node): 클러스터 상태 관리 및 노드 추가/제거 역할
    • 클러스터 내 노드 상태 관리 및 헬스 체크 수행
    • 샤드 할당(Shard Allocation) 및 클러스터 밸런싱
    • 새로운 노드 추가 및 장애 발생 시 대체 노드 재구성
    • 인덱스 생성 및 설정 변경 작업 처리
  • 데이터 노드 (Data Node): 실제 데이터를 저장하고 검색 요청을 처리
    • 문서 저장 및 검색 수행
    • 인덱싱 요청을 받아 데이터를 분산 저장
    • 쿼리 실행 및 결과 반환
    • 샤드 이동 및 복제본 유지
  • 코디네이팅 노드 (Coordinating Node): 검색 요청을 받아 데이터 노드로 분산
    • 검색 및 집계 요청을 데이터 노드로 분산
    • 여러 노드에서 검색된 결과를 병합하여 최종 응답 반환
    • 클라이언트와 데이터 노드 간의 부하 균형 유지

노드 최적화 전략

  • 전용 마스터 노드 운영: 클러스터 안정성을 높이기 위해 전용 마스터 노드 사용
  • Heap 메모리 설정: JVM Heap 크기를 전체 메모리의 50% 이하로 설정
  • 디스크 사용률 모니터링: 80% 이상 사용 시 데이터 노드 확장 고려
  • Threadpool 설정 조정: 검색 요청이 많을 경우 search thread pool 크기 조절

Amazon OpenSearch 노드 관리는 클러스터의 성능과 안정성을 결정하는 중요한 요소입니다. 마스터 노드, 데이터 노드, 코디네이팅 노드의 역할을 명확히 구분하고, 각 노드에 맞는 최적화 전략을 적용하면 클러스터 성능을 극대화할 수 있습니다.

또한, Heap 메모리 설정, 디스크 사용률 모니터링, Thread Pool 조정 등의 성능 튜닝 기법을 적용하면 OpenSearch가 대량의 데이터와 트래픽을 처리하는 데 더욱 효율적으로 동작합니다.

클러스터 최적화 방법

OpenSearch 클러스터는 검색 성능을 극대화하기 위해 효율적으로 구성되어야 합니다. 아래와 같은 최적화 전략을 적용하면 성능과 비용 효율성을 높일 수 있습니다.

클러스터 크기 조정(Auto Scaling) 전략

  • 읽기 부하가 높은 경우: 레플리카 개수를 증가하여 검색 성능 향상
  • 쓰기 부하가 높은 경우: 샤드 개수를 증가하여 인덱싱 성능 개선
  • 트래픽 변동이 큰 경우: AWS Auto Scaling 기능을 활용하여 자동 확장

성능 튜닝 팁

  • 쿼리 캐싱 활성화: 반복되는 검색 요청을 캐싱하여 속도 향상
  • Bulk API 사용: 대량의 데이터 삽입 시 bulk API 활용
  • Hot-Warm Architecture 적용
    • 자주 사용하는 데이터는 고성능 노드(Hot Node)로 운영
    • 오래된 데이터는 저비용 노드(Warm Node)로 이동

모니터링 및 장애 대응

OpenSearch 클러스터의 상태를 지속적으로 모니터링하고 장애 발생 시 빠르게 대응하는 것이 중요합니다.

  • AWS CloudWatch 활용: 메트릭을 모니터링하여 이상 감지
  • 노드 장애 발생 시 대처법
    • GET _cluster/health로 클러스터 상태 확인
    • 장애가 발생한 노드 식별 후 복구 또는 교체
  • Snapshot 백업 설정
    • Amazon S3를 활용하여 정기적인 스냅샷 백업 수행

Amazon OpenSearch를 활용하여 효율적인 검색 시스템을 구축하려면, 인덱스 생성부터 노드 및 클러스터 최적화까지 체계적인 관리가 필요합니다. 적절한 샤드 설정, Heap 메모리 조정, Auto Scaling 활용 등의 전략을 적용하면 성능을 극대화할 수 있습니다.  

티스토리툴바