우리는 최근 시계열 컬렉션 및 인덱스의 데이터 보존을 관리하기 위한 OpenSearch Serverless의 새로운 개선 사항을 발표했습니다. OpenSearch 서버리스 아마존 오픈서치 서비스 인프라 관리에 대해 생각할 필요 없이 검색 및 분석 워크로드를 간단하게 실행할 수 있습니다. 새로운 자동화된 시간 기반 데이터 삭제 기능을 사용하면 데이터 보존 기간을 지정할 수 있으며 OpenSearch Serverless는 이 구성을 기반으로 데이터 수명주기를 자동으로 관리합니다.

OpenSearch에서 애플리케이션 로그 및 이벤트와 같은 시계열 데이터를 분석하려면 데이터를 생성하고 인덱스로 수집해야 합니다. 일반적으로 이러한 로그는 지속적으로 생성되어 OpenSearch에 몇 분 간격으로 자주 수집됩니다. 대용량 로그는 클러스터의 저장소와 같은 사용 가능한 리소스를 많이 소비할 수 있으므로 최적의 성능을 극대화하려면 효율적으로 관리해야 합니다. 일일 인덱스를 생성하는 자동화된 도구를 사용하여 인덱스된 데이터의 수명 주기를 관리할 수 있습니다. 그런 다음 스크립트를 사용하여 클러스터의 기본 스토리지에서 보조 원격 스토리지로 인덱싱된 데이터를 순환하여 성능을 유지하고 비용을 제어한 다음 특정 보존 기간이 지나면 오래된 데이터를 삭제할 수 있습니다.

OpenSearch Serverless의 새로운 자동화된 시간 기반 데이터 삭제 기능은 일일 인덱스를 수동으로 생성 및 관리하거나 데이터 수명 주기 스크립트를 작성할 필요성을 최소화합니다. 이제 단일 인덱스를 생성할 수 있으며 OpenSearch Serverless는 하나의 논리적 그룹 아래에 타임스탬프가 지정된 인덱스 컬렉션 생성을 자동으로 처리합니다. 시계열 데이터 컬렉션에 대해 원하는 데이터 보존 정책만 구성하면 됩니다. 그런 다음 OpenSearch Serverless는 인덱스가 오래됨에 따라 기본 스토리지에서 Amazon Simple Storage Service(Amazon S3)로 인덱스를 효율적으로 롤오버하고 구성된 보존 정책에 따라 오래된 데이터를 자동으로 삭제하여 운영 오버헤드를 줄이고 비용을 절감합니다.

이 게시물에서는 새로운 데이터 수명 주기 정책과 OpenSearch Serverless에서 이러한 정책을 시작하는 방법에 대해 논의합니다.

솔루션 개요

가상의 회사인 Octank Broker가 웹 서비스에서 로그를 수집하여 서비스 가용성 분석을 위해 OpenSearch Serverless로 수집하는 사용 사례를 생각해 보세요. 회사는 오류 유형 4xx 및 5xx로 인해 오류가 발생하는 경우 웹 액세스 및 근본 원인을 추적하는 데 관심이 있습니다. 일반적으로 서버 문제는 즉각적인 기간(예: 며칠) 내에 관심을 갖습니다. 30일 후에는 이 로그에 더 이상 관심이 없습니다.

Octank는 로그 데이터를 7일 동안 보관하려고 합니다. 컬렉션 또는 인덱스가 7일 데이터 보존으로 구성된 경우 7일 후에 OpenSearch Serverless는 데이터를 삭제합니다. 해당 색인은 더 이상 검색할 수 없습니다. 참고: 검색 결과의 문서 수에는 잠시 동안 삭제 표시된 데이터가 반영될 수 있습니다.

데이터 수명 주기 정책을 생성하여 데이터 보존을 구성할 수 있습니다. 보관 시간은 무제한일 수 있으며, 최소 24시간부터 최대 10년까지 보관할 수 있는 날짜 및 시간 단위의 특정 기간을 제공할 수 있습니다. 보존 시간이 무제한이면 이름에서 알 수 있듯이 데이터가 삭제되지 않습니다.

OpenSearch Serverless에서 데이터 수명 주기 정책을 사용하려면 이 게시물에 설명된 단계를 따르세요.

사전 조건

이 게시물에서는 귀하가 이미 OpenSearch Serverless 컬렉션을 설정했다고 가정합니다. 그렇지 않다면 참조하세요. Amazon OpenSearch Serverless를 통한 손쉬운 로그 분석 지시 사항은

데이터 수명주기 정책 만들기

다음에서 데이터 수명 주기 정책을 생성할 수 있습니다. AWS 관리 콘솔Walk Through California 프로그램, AWS 명령 줄 인터페이스 (AWS CLI), AWS 클라우드 포메이션, AWS 클라우드 개발 키트 (AWS CDK) 및 테라 폼. 콘솔을 통해 데이터 수명주기 정책을 생성하려면 다음 단계를 완료하세요.

• OpenSearch Service 콘솔에서 다음을 선택합니다. 데이터 수명주기 정책 아래에 서버리스 탐색 창에서
• 왼쪽 메뉴에서 데이터 수명주기 정책 만들기.
• 럭셔리 데이터 수명주기 정책 이름에는 이름을 입력합니다(예: web-logs-policy).
• 왼쪽 메뉴에서 추가 아래에 데이터 수명 주기.
• $XNUMX Million 미만 소스 컬렉션, 정책을 적용할 컬렉션을 선택합니다(예: web-logs-collection).
• $XNUMX Million 미만 색인에서 보존 기간을 적용할 인덱스 또는 인덱스 패턴을 입력합니다(예: 웹 로그).
• $XNUMX Million 미만 데이터 보존, 사용 중지 제한 없는 (정의한 인덱스 패턴에 대한 특정 보존을 설정하기 위해)
• Amazon S3에서 데이터를 삭제하려는 시간 또는 일수를 입력합니다.
• 왼쪽 메뉴에서 만듭니다.

다음 그래픽은 이전 단계를 통해 OpenSearch 서버리스 데이터 수명 주기 정책을 생성하는 방법을 빠르게 보여줍니다.

데이터 수명주기 정책 보기

데이터 수명주기 정책을 생성한 후 다음 단계를 완료하여 정책을 볼 수 있습니다.

• OpenSearch Service 콘솔에서 다음을 선택합니다. 데이터 수명주기 정책 아래에 서버리스 탐색 창에서
• 보려는 정책을 선택합니다(예: web-logs-policy).
• 아래의 하이퍼링크를 선택하십시오. 정책 이름.

이 페이지에는 특정 인덱스 및 컬렉션에 대한 인덱스 패턴 및 보존 기간과 같은 세부 정보가 표시됩니다. 다음 그래픽은 이전 단계를 통해 OpenSearch Serverless 데이터 수명주기 정책을 보는 방법을 빠르게 보여줍니다.

데이터 수명주기 정책 업데이트

데이터 수명주기 정책을 생성한 후 이를 수정하고 업데이트하여 더 많은 규칙을 추가할 수 있습니다. 예를 들어 다른 인덱스 패턴을 추가하거나 새 인덱스 패턴이 포함된 새 컬렉션을 추가하여 보존을 설정할 수 있습니다. 다음 예에서는 syslogs-collection 아래의 syslog 인덱스 정책에 다른 규칙을 추가하는 단계를 보여줍니다.

• OpenSearch Service 콘솔에서 다음을 선택합니다. 데이터 수명주기 정책 아래에 서버리스 탐색 창에서
• 편집하려는 정책(예: web-logs-policy)을 선택한 다음 편집.
• 왼쪽 메뉴에서 추가 아래에 데이터 수명 주기.
• $XNUMX Million 미만 소스 컬렉션에서 데이터 수명 주기 정책을 설정하는 데 사용할 컬렉션을 선택합니다(예: syslogs-collection).
• $XNUMX Million 미만 색인에서 보존을 설정할 인덱스 또는 인덱스 패턴(예: syslogs)을 입력합니다.
• $XNUMX Million 미만 데이터 보존, 사용 중지 제한 없는 (정의한 인덱스 패턴에 대한 특정 보존을 설정하기 위해)
• Amazon S3에서 데이터를 삭제하려는 시간 또는 일수를 입력합니다.
• 왼쪽 메뉴에서 찜하기.

다음 그래픽은 이전 단계를 통해 기존 데이터 수명 주기 정책을 업데이트하는 방법을 빠르게 보여줍니다.

데이터 수명주기 정책 삭제

다음 단계에 따라 기존 데이터 수명 주기 정책을 삭제합니다.

• OpenSearch Service 콘솔에서 다음을 선택합니다. 데이터 수명주기 정책 아래에 서버리스 탐색 창에서
• 편집하려는 정책을 선택합니다(예: web-logs-policy).
• 왼쪽 메뉴에서 ..

데이터 수명주기 정책 규칙

데이터 수명 주기 정책에서는 일련의 규칙을 지정합니다. 데이터 수명 주기 정책을 사용하면 이러한 규칙과 일치하는 인덱스 또는 컬렉션과 관련된 데이터의 보존 기간을 관리할 수 있습니다. 이러한 규칙은 인덱스 또는 인덱스 그룹의 데이터에 대한 보존 기간을 정의합니다. 각 규칙은 리소스 유형(인덱스), 보존 기간, 보존 기간이 적용되는 리소스(인덱스) 목록으로 구성됩니다.

다음 형식 중 하나로 보존 기간을 정의합니다.

• "MinIndexRetention": "24시간" – OpenSearch Serverless는 지정된 기간(시간 또는 일) 동안 인덱스 데이터를 유지합니다. 이 기간은 24시간(24h)부터 3,650일(3650d)까지 설정할 수 있습니다.
• "NoMinIndexRetention": 참 – OpenSearch Serverless는 인덱스 데이터를 무기한 유지합니다.

데이터 수명 주기 정책 규칙이 정책 내에서 또는 정책 간에 겹치는 경우 인덱스에 대해 더 구체적인 리소스 이름 또는 패턴이 있는 규칙이 두 규칙에 공통된 인덱스에 대해 더 일반적인 리소스 이름 또는 패턴이 있는 규칙을 재정의합니다. 예를 들어 다음 정책에서는 index/sales/logstash 색인에 두 가지 규칙이 적용됩니다. 이 상황에서는 index/sales/log*가 index/sales/logstash와 가장 오랫동안 일치하므로 두 번째 규칙이 우선합니다. 따라서 OpenSearch Serverless는 인덱스에 대한 보존 기간을 설정하지 않습니다.

요약

데이터 수명 주기 정책은 OpenSearch Serverless에서 인덱스를 관리하는 일관되고 간단한 방법을 제공합니다. 데이터 수명주기 정책을 사용하면 데이터 관리를 자동화하고 인적 오류를 방지할 수 있습니다. 수동 개입 없이 관련 없는 데이터를 삭제하면 운영 부하가 줄어들고 스토리지 비용이 절약되며 검색을 위한 시스템 성능을 유지하는 데 도움이 됩니다.

저자 소개

프라 샨트 아그라 왈 Amazon OpenSearch Service의 수석 검색 전문가 솔루션 설계자입니다. 그는 고객과 긴밀히 협력하여 워크로드를 클라우드로 마이그레이션하도록 돕고 기존 고객이 클러스터를 미세 조정하여 더 나은 성능을 달성하고 비용을 절감하도록 돕습니다. AWS에 합류하기 전에 그는 다양한 고객이 검색 및 로그 분석 사용 사례에 OpenSearch 및 Elasticsearch를 사용하도록 도왔습니다. 일하지 않을 때에는 여행을 하며 새로운 곳을 탐험하는 모습을 볼 수 있습니다. 한마디로 말하면 먹는 것 → 여행 → 반복하는 걸 좋아한다는 거죠.

사티시 난디 Amazon OpenSearch Service의 수석 제품 관리자입니다. 그는 OpenSearch Serverless에 중점을 두고 있으며 네트워킹, 보안 및 ML/AI 분야에서 수년간의 경험을 보유하고 있습니다. 그는 컴퓨터 공학 학사 학위와 기업가 정신 MBA를 취득했습니다. 여가 시간에는 비행기 조종, 행글라이더, 오토바이 타기를 좋아합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/big-data/amazon-opensearch-serverless-now-supports-automated-time-based-data-deletion/