2023년은 바쁜 한 해였습니다 아마존 오픈서치 서비스! OpenSearch Service가 출시한 릴리스에 대해 자세히 알아보세요. 2023의 상반기.

2023년 하반기 OpenSearch Service에 XNUMX가지 새로운 지원이 추가되었습니다. 오픈 검색 버전: 2.9 및 2.11 이 두 버전은 검색 공간, 기계 학습(ML) 검색 공간, 마이그레이션 및 서비스의 운영 측면에 새로운 기능을 도입합니다.

Zero-ETL 통합 출시로 아마존 단순 스토리지 서비스 (Amazon S3)에서는 OpenSearch Service를 사용하여 데이터 레이크에 있는 데이터를 분석하여 Amazon S3에서 데이터를 이동할 필요 없이 대시보드를 구축하고 데이터를 쿼리할 수 있습니다.

OpenSearch Service는 또한 다음과의 새로운 제로 ETL 통합을 발표했습니다. 아마존 DynamoDB DynamoDB 플러그인을 통해 Amazon OpenSearch 수집. OpenSearch 수집은 부트스트래핑을 처리하고 DynamoDB 소스에서 데이터를 지속적으로 스트리밍합니다.

OpenSearch Serverless는 다음의 일반 가용성을 발표했습니다. Amazon OpenSearch 서버리스용 벡터 엔진 시계열 컬렉션에 대한 경험을 향상시키고, 개발 환경에 대한 비용을 관리하고, 워크로드 요구 사항에 맞게 리소스를 신속하게 확장할 수 있는 다른 기능과 함께 제공됩니다.

이 게시물에서는 검색, 관찰 가능성, 보안 분석 및 마이그레이션을 통해 비즈니스를 강화하는 OpenSearch Service의 새로운 릴리스에 대해 논의합니다.

OpenSearch 서비스로 비용 효율적인 솔루션 구축

Amazon S3에 대한 제로 ETL 통합을 통해 OpenSearch Service를 사용하면 이제 데이터를 제자리에서 쿼리하여 스토리지 비용을 절약할 수 있습니다. 데이터 이동은 여러 데이터 저장소에 걸쳐 데이터를 복제해야 하기 때문에 비용이 많이 드는 작업입니다. 이로 인해 데이터 공간이 늘어나고 비용이 증가합니다. 데이터를 이동하면 데이터를 한 소스에서 새 대상으로 마이그레이션하기 위한 파이프라인 관리 오버헤드도 추가됩니다.

OpenSearch Service는 또한 인프라 비용을 더욱 최적화하는 데 도움이 되는 데이터 노드(Im4gn 및 OR1)에 대한 새로운 인스턴스 유형을 추가했습니다. 최대 30TB의 비휘발성 메모리(NVMe) 솔리드 스테이트 드라이브(SSD)를 갖춘 Im4gn 인스턴스는 밀도가 높은 스토리지와 더 나은 성능을 제공합니다. OR1 인스턴스는 세그먼트 복제 및 원격 지원 스토리지를 사용하여 인덱싱이 많은 워크로드의 처리량을 크게 늘립니다.

DynamoDB에서 OpenSearch Service까지 ETL 없음

2023년 XNUMX월 DynamoDB 및 OpenSearch 수집은 OpenSearch 서비스에 대한 제로 ETL 통합을 도입했습니다. OpenSearch 서비스 도메인 및 OpenSearch 서버리스 컬렉션은 DynamoDB 데이터에 대해 전체 텍스트 및 벡터 검색과 같은 고급 검색 기능을 제공합니다. 몇 번의 클릭만으로 AWS 관리 콘솔를 사용하면 이제 DynamoDB에서 OpenSearch Service로 데이터를 원활하게 로드하고 동기화할 수 있으므로 데이터를 추출, 변환 및 로드하기 위해 사용자 지정 코드를 작성할 필요가 없습니다.

직접 쿼리(Amazon S3 데이터에 대한 ETL 없음, 미리 보기)

OpenSearch Service는 운영 데이터를 분석하기 위해 도구를 전환할 필요 없이 Amazon S3 및 S3 기반 데이터 레이크에서 운영 로그를 쿼리할 수 있는 새로운 방법을 발표했습니다. 이전에는 OpenSearch의 풍부한 분석 및 시각화 기능을 활용하여 데이터를 이해하고, 이상 현상을 식별하고, 잠재적인 위협을 탐지하려면 Amazon S3의 데이터를 OpenSearch Service로 복사해야 했습니다.

그러나 서비스 간에 데이터를 지속적으로 복제하려면 비용이 많이 들고 운영 작업이 필요할 수 있습니다. OpenSearch Service 직접 쿼리 기능을 사용하면 데이터 자체를 이동할 필요 없이 Amazon S3에 저장된 운영 로그 데이터에 액세스할 수 있습니다. 이제 데이터 이동 없이 데이터에 대한 복잡한 쿼리와 시각화를 수행할 수 있습니다.

OpenSearch 서비스를 통한 Im4gn 지원

Im4gn 인스턴스는 대규모 데이터 세트를 관리하고 vCPU당 높은 스토리지 밀도가 필요한 워크로드에 최적화되어 있습니다. Im4gn 인스턴스는 대형부터 16xlarge까지의 크기로 제공되며 NVMe SSD 디스크 크기는 최대 30TB입니다. Im4gn 인스턴스는 다음을 기반으로 구축되었습니다. AWS Nitro 시스템 최고의 성능을 위해 처리량이 높고 대기 시간이 짧은 디스크 액세스를 제공하는 SSD입니다. OpenSearch 서비스 Im4gn 인스턴스는 모든 OpenSearch 버전과 Elasticsearch 버전 7.9 이상을 지원합니다. 자세한 내용은 다음을 참조하세요. Amazon OpenSearch Service에서 지원되는 인스턴스 유형.

과중한 워크로드를 인덱싱하기 위한 OpenSearch 최적화 인스턴스 제품군인 OR1 소개

2023년 XNUMX월 오픈서치 서비스 출시 OpenSearch 최적화 인스턴스 제품군인 OR1내부 벤치마크에서 기존 인스턴스에 비해 최대 30% 향상된 가격 대비 성능을 제공하고 Amazon S3를 사용하여 11 9s의 내구성을 제공합니다. OR1 인스턴스가 있는 도메인은 다음을 사용합니다. 아마존 엘라스틱 블록 스토어 (Amazon EBS) 기본 스토리지용 볼륨으로, 데이터가 도착하면 Amazon S3에 동기식으로 복사됩니다. OR1 인스턴스는 OpenSearch를 사용합니다. 세그먼트 복제 기능 복제본 샤드가 Amazon S3에서 직접 데이터를 읽을 수 있도록 하여 기본 샤드와 복제본 샤드 모두에서 인덱싱하는 데 드는 리소스 비용을 방지합니다. OR1 인스턴스 제품군은 장애 발생 시 자동 데이터 복구도 지원합니다. OR1 인스턴스 유형 옵션에 대한 자세한 내용은 다음을 참조하세요. 현재 세대 인스턴스 유형 오픈서치 서비스에서

보안 분석 기능으로 비즈니스 활성화

OpenSearch Service의 Security Analytics 플러그인은 기본적으로 지원됩니다. 사전 패키지된 로그 유형 잠재적인 보안 사고를 탐지하기 위한 보안 탐지 규칙(SIGMA 규칙)을 제공합니다.

OpenSearch 2.9에서 Security Analytics 플러그인은 고객 로그 유형에 대한 지원과 기본 지원을 추가했습니다. 개방형 사이버 보안 스키마 프레임워크(OCSF) 데이터 형식. 이 새로운 지원을 통해 다음 위치에 저장된 OCSF 데이터로 탐지기를 구축할 수 있습니다. 아마존 보안 호수 보안 결과를 분석하고 잠재적인 사고를 완화합니다. Security Analytics 플러그인에는 사용자 정의 로그 유형을 생성하고 사용자 정의 탐지 규칙을 생성할 수 있는 기능도 추가되었습니다.

ML 기반 검색 솔루션 구축

2023년에 OpenSearch Service는 차세대 검색 애플리케이션을 구축하는 데 필요한 무거운 작업을 제거하는 데 투자했습니다. 검색 파이프라인, 검색 프로세서, AI/ML 커넥터 등의 기능을 갖춘 OpenSearch Service는 신경망 검색, 하이브리드 검색, 개인화된 결과를 기반으로 검색 애플리케이션을 신속하게 개발할 수 있도록 지원했습니다. 또한 kNN 플러그인이 향상되어 벡터 데이터의 저장 및 검색이 향상되었습니다. 새로 출시된 OpenSearch 서비스용 옵션 플러그인을 통해 추가 언어 분석기와 원활한 통합이 가능하며 아마존 개인화.

검색 파이프라인

검색 파이프라인 검색 쿼리를 향상하고 검색 결과를 개선하는 새로운 방법을 제공합니다. 검색 파이프라인을 정의한 다음 여기에 쿼리를 보냅니다. 검색 파이프라인을 정의할 때 다음을 지정합니다. 가공업자 쿼리를 변환 및 강화하고 결과의 순위를 다시 지정합니다. 사전 구축된 쿼리 프로세서에는 날짜 변환, 집계, 문자열 조작 및 데이터 유형 변환이 포함됩니다. 검색 파이프라인의 결과 프로세서는 다음 단계로 렌더링하기 전에 즉시 결과를 가로채서 조정합니다. 파이프라인에 대한 요청 및 응답 처리는 모두 코디네이터 노드에서 수행되므로 샤드 수준 처리가 없습니다.

선택적 플러그인

OpenSearch 서비스를 사용하면 사전 설치된 선택적 OpenSearch 플러그인 귀하의 도메인과 함께 사용합니다. 선택적 플러그인 패키지는 특정 OpenSearch 버전과 호환되며 해당 버전의 도메인에만 연결할 수 있습니다. 사용 가능한 플러그인은 다음 페이지에 나열되어 있습니다. 패키지 OpenSearch 서비스 콘솔 페이지. 선택적 플러그인에는 OpenSearch Service를 Amazon Personalize와 통합하는 Amazon Personalize 플러그인과 Nori, Sudachi, STConvert 및 Pinyin과 같은 새로운 언어 분석기가 포함되어 있습니다.

새로운 언어 분석기 지원

OpenSearch 서비스는 다음 네 가지 새로운 기능에 대한 지원을 추가했습니다. 언어 분석기 플러그인: Nori(한국어), Sudachi(일본어), Pinyin(중국어), STConvert Analysis(중국어). 이는 모든 AWS 리전에서 OpenSearch 버전을 실행하는 도메인과 연결할 수 있는 선택적 플러그인으로 제공됩니다. 당신은 사용할 수 있습니다 패키지 OpenSearch Service 콘솔 페이지에서 이러한 플러그인을 도메인에 연결하거나 패키지 연결 API를 사용하세요.

신경망 검색 기능

신경 검색 일반적으로 OpenSearch Service 버전 2.9 이상에서 사용할 수 있습니다. 신경망 검색을 사용하면 모델 제공 프레임워크를 사용하여 원격으로 호스팅되는 ML 모델과 통합할 수 있습니다. 검색 중에 신경망 쿼리를 사용하면 신경망 검색은 쿼리 텍스트를 벡터 임베딩으로 변환하고, 벡터 검색을 사용하여 쿼리와 문서 임베딩을 비교하고, 가장 가까운 결과를 반환합니다. 수집 중에 신경망 검색은 문서 텍스트를 벡터 임베딩으로 변환하고 텍스트와 해당 벡터 임베딩을 모두 벡터 인덱스에 인덱싱합니다.

Amazon Personalize와의 통합

OpenSearch 서비스는 OpenSearch 버전 2.9 이상에서 Amazon Personalize와 통합하기 위한 선택적 플러그인을 도입했습니다. Amazon Personalize 검색 순위용 OpenSearch 서비스 플러그인을 사용하면 Amazon Personalize에서 제공하는 딥 러닝 기능을 활용하여 웹 사이트 및 애플리케이션 검색에서 최종 사용자 참여 및 전환을 향상시킬 수 있습니다. 선택적 플러그인으로는 패키지는 OpenSearch 버전 2.9 이상과 호환됩니다.이며 해당 버전의 도메인에만 연결할 수 있습니다.

OpenSearch의 k-NN FAISS를 사용한 효율적인 쿼리 필터링

OpenSearch 서비스는 버전 2.9 이상에서 OpenSearch의 k-NN FAISS를 사용하여 효율적인 쿼리 필터링을 도입했습니다. 오픈서치의 효율적인 벡터 쿼리 필터 기능은 최적의 필터링 전략(ANN(Approximous Nearest Neighbor)을 사용한 사전 필터링 또는 k-NN(정확한 k-Nearest Neighbor)을 사용한 필터링)을 지능적으로 평가하여 정확하고 지연 시간이 짧은 벡터 검색 쿼리를 제공하는 최상의 전략을 결정합니다. 이전 OpenSearch 버전에서는 FAISS 엔진의 벡터 쿼리가 사후 필터링 기술을 사용하여 대규모로 필터링된 쿼리를 활성화했지만 잠재적으로 요청된 "k" 수보다 적은 결과를 반환했습니다. 효율적인 벡터 쿼리 필터 낮은 대기 시간과 정확한 결과 제공, 벡터 및 어휘 기술 전반에 걸쳐 하이브리드 검색을 사용할 수 있습니다.

OpenSearch 서비스의 바이트 양자화된 벡터

새로운 기능 바이트 양자화된 벡터 2.9에 도입된 기능을 사용하면 메모리 요구 사항을 4배로 줄이고 품질(리콜) 손실을 최소화하면서 검색 대기 시간을 크게 줄일 수 있습니다. 이 기능을 사용하면 벡터에 사용되는 일반적인 32비트 부동 소수점은 양자화되거나 8비트 부호 있는 정수로 변환됩니다. 많은 응용 분야에서 기존 부동 벡터 데이터는 품질 저하 없이 양자화될 수 있습니다. 벤치마크를 비교하면 32비트 부동 소수점 대신 바이트 벡터를 사용하면 저장소 및 메모리 사용량이 크게 감소하는 동시에 인덱싱 처리량이 향상되고 쿼리 대기 시간이 줄어드는 것을 알 수 있습니다. 내부 기준 스토리지 사용량은 최대 78%까지 감소했으며 RAM 사용량은 최대 59%까지 감소한 것으로 나타났습니다(glove-200-angular 데이터세트의 경우). 각도 데이터 세트의 리콜 값은 유클리드 데이터 세트의 리콜 값보다 낮았습니다.

AI/ML 커넥터

OpenSearch 2.9 이상 지원 ML 모델과의 통합 AWS 서비스 또는 타사 플랫폼에서 호스팅됩니다. 이를 통해 시스템 관리자와 데이터 과학자는 OpenSearch Service 도메인 외부에서 ML 워크로드를 실행할 수 있습니다. ML 커넥터에는 지원되는 ML 청사진 세트(특정 커넥터에 API 요청을 보낼 때 제공해야 하는 매개변수 세트를 정의하는 템플릿)가 함께 제공됩니다. OpenSearch 서비스는 다음과 같은 여러 플랫폼에 대한 커넥터를 제공합니다. 아마존 세이지메이커, 아마존 기반암, OpenAI 채팅GPT및 코히어.

OpenSearch 서비스 콘솔 통합

OpenSearch 2.9 이상에는 콘솔에 새로운 통합 기능이 추가되었습니다. 통합은 다음을 제공합니다. AWS 클라우드 포메이션 구축을 위한 템플릿 시맨틱 검색 SageMaker 또는 Amazon Bedrock에서 호스팅되는 ML 모델에 연결하여 사용 사례를 살펴보세요. CloudFormation 템플릿은 모델 엔드포인트를 생성하고 템플릿에 입력으로 제공하는 OpenSearch 서비스 도메인에 모델 ID를 등록합니다.

하이브리드 검색 및 범위 정규화

XNUMXD덴탈의 정규화 프로세서 과 하이브리드 쿼리 2023년 초에 출시된 두 가지 기능을 기반으로 구축되었습니다.신경 검색 과 검색 파이프라인. 어휘 및 의미 쿼리는 다양한 규모의 관련성 점수를 반환하기 때문에 하이브리드 검색 쿼리를 미세 조정하는 것이 어려웠습니다.

OpenSearch Service 2.11은 이제 하이브리드 검색을 위한 조합 및 정규화 프로세서를 지원합니다. 이제 어휘 및 자연어 기반 k-NN 벡터 검색 쿼리를 결합하여 하이브리드 검색 쿼리를 수행할 수 있습니다. OpenSearch 서비스를 사용하면 여러 채점 조합 및 정규화 기술을 사용하여 관련성을 극대화하도록 하이브리드 검색 결과를 조정할 수도 있습니다.

Amazon Bedrock을 사용한 다중 모드 검색

OpenSearch Service 2.11에서는 다중 모드 임베딩 모델을 사용하여 텍스트 및 이미지 데이터를 검색할 수 있는 다중 모드 검색 지원을 시작합니다. 벡터 임베딩을 생성하려면 다음을 포함하는 수집 파이프라인을 생성해야 합니다. text_image_embedding 프로세서, 문서 필드의 텍스트 또는 이미지 바이너리를 벡터 임베딩으로 변환합니다. 다음 중 하나에서 신경 쿼리 절을 사용할 수 있습니다. k-NN 플러그인 API or DSL 쿼리 검색어, 텍스트와 이미지 검색을 조합하여 수행합니다. 새로운 OpenSearch 서비스 통합 기능을 사용하면 다중 모드 검색을 빠르게 시작할 수 있습니다.

신경 희소 검색

의미론적 검색의 새로운 효율적인 방법인 신경 희소 검색은 OpenSearch Service 2.11에서 사용할 수 있습니다. 신경 희소 검색은 이중 인코더와 문서 전용의 두 가지 모드로 작동합니다. 바이 인코더 모드를 사용하면 문서와 검색어가 모두 딥 인코더를 통해 전달됩니다. 문서 전용 모드에서는 문서만 딥 인코더를 통해 전달되고 검색어는 토큰화됩니다. 문서 전용 스파스 인코더는 밀집 인코딩 인덱스 크기의 10.4%인 인덱스를 생성합니다. 바이 인코더의 경우 인덱스 크기는 조밀한 인코딩 인덱스 크기의 7.2%입니다. 신경 희소 검색은 희소 벡터 임베딩을 생성하는 희소 인코딩 모델을 통해 활성화됩니다. <token: weight> 텍스트 항목과 희소 벡터의 해당 가중치를 나타내는 쌍입니다. 희소 신경 검색을 위해 사전 훈련된 모델에 대해 자세히 알아보려면 다음을 참조하세요. 희소 인코딩 모델.

신경 희소 검색은 비용을 절감하고, 검색 관련성을 향상시키며, 대기 시간을 단축합니다. 새로운 OpenSearch 서비스 통합 기능을 사용하여 신경 희소 검색을 빠르게 시작할 수 있습니다.

OpenSearch 수집 업데이트

OpenSearch 수집 OpenSearch Service 도메인 및 OpenSearch Serverless 컬렉션에 데이터를 전달하는 완전 관리형 자동 확장 수집 파이프라인입니다. 2023년 출시 이후 OpenSearch Ingestion은 데이터를 쉽게 변환하고 이동할 수 있도록 새로운 기능을 계속 추가하고 있습니다. 지원되는 소스 OpenSearch Service, OpenSearch Serverless 및 Amazon S3와 같은 다운스트림 대상으로.

OpenSearch 수집의 새로운 마이그레이션 기능

2023년 7월, OpenSearch Ingestion은 자체 관리형 Elasticsearch 버전 XNUMX.x 도메인에서 최신 버전의 OpenSearch Service로의 데이터 마이그레이션을 지원하는 새로운 기능의 출시를 발표했습니다.

OpenSearch 수집은 OpenSearch 버전 2.x를 실행하는 OpenSearch Service 관리 도메인에서 OpenSearch Serverless 컬렉션으로의 데이터 마이그레이션도 지원합니다.

OpenSearch 수집을 사용하여 다음을 수행하는 방법을 알아보세요. 데이터를 OpenSearch 서비스로 마이그레이션.

OpenSearch 수집으로 데이터 내구성 향상

2023년 XNUMX월 OpenSearch Ingestion은 HTTP 소스(HTTP, Fluentd, FluentBit) 및 OpenTelemetry 수집기와 같은 푸시 기반 소스에 대한 영구 버퍼링을 도입했습니다.

기본적으로 OpenSearch 수집은 메모리 내 버퍼링을 사용합니다. 지속적인 버퍼링을 통해 OpenSearch Ingestion은 복원력이 더 뛰어난 디스크 기반 저장소에 데이터를 저장합니다. 기존 수집 파이프라인이 있는 경우 다음 스크린샷과 같이 이러한 파이프라인에 대해 영구 버퍼링을 활성화할 수 있습니다.

새로운 플러그인 지원

2023년 초에 OpenSearch 수집에 대한 지원이 추가되었습니다. Apache Kafka 용 Amazon Managed Streaming (아마존 MSK). OpenSearch 수집은 다음을 사용합니다. 카프카 플러그인 Amazon MSK에서 OpenSearch Service 관리형 도메인 또는 OpenSearch Serverless 컬렉션으로 데이터를 스트리밍합니다. Amazon MSK를 데이터 원본으로 설정하는 방법에 대해 자세히 알아보려면 다음을 참조하세요. Apache Kafka용 Amazon Managed Streaming과 함께 OpenSearch 수집 파이프라인 사용.

OpenSearch 서버리스 업데이트

OpenSearch Serverless는 임베딩을 저장하고 유사성 검색을 실행하는 새로운 벡터 검색 유형 컬렉션 지원을 도입하여 OpenSearch를 통한 서버리스 환경을 지속적으로 향상시켰습니다. OpenSearch Serverless는 이제 쿼리 처리량의 급증을 처리하기 위해 샤드 복제본 확장을 지원합니다. 시계열 컬렉션을 사용하는 경우 이제 데이터 보존 요구 사항에 맞게 사용자 정의 데이터 보존 정책을 설정할 수 있습니다.

OpenSearch 서버리스용 벡터 엔진

2023년 XNUMX월에 우리는 Amazon OpenSearch Serverless용 벡터 엔진. 벡터 엔진을 사용하면 기본 벡터 데이터베이스 인프라를 관리할 필요 없이 최신 ML 증강 검색 경험과 생성적 인공 지능(generative AI) 애플리케이션을 간단하게 구축할 수 있습니다. 또한 동일한 쿼리에서 벡터 검색과 전체 텍스트 검색을 결합하여 하이브리드 검색을 실행할 수 있으므로 별도의 데이터 저장소나 복잡한 애플리케이션 스택을 관리하고 유지할 필요가 없습니다.

OpenSearch 서버리스 저비용 개발 및 테스트 환경

OpenSearch Serverless는 이제 복제본 실행을 방지하여 개발 및 테스트 워크로드를 지원합니다. 복제본을 제거하면 가용성 목적으로만 다른 가용 영역에 중복 OCU를 보유할 필요가 없습니다. 가용성이 문제가 되지 않는 개발 및 테스트를 위해 OpenSearch Serverless를 사용하는 경우 최소 OCU를 4에서 2로 줄일 수 있습니다.

OpenSearch Serverless는 데이터 수명 주기 정책을 사용하여 자동화된 시간 기반 데이터 삭제를 지원합니다.

2023년 XNUMX월 OpenSearch Serverless는 시계열 컬렉션 및 인덱스의 데이터 보존 관리 지원을 발표했습니다. 새로운 자동화된 시간 기반 데이터 삭제 기능을 사용하면 데이터 보존 기간을 지정할 수 있습니다. OpenSearch Serverless는 이 구성을 기반으로 데이터의 수명주기를 자동으로 관리합니다. 자세한 내용은 다음을 참조하세요. Amazon OpenSearch Serverless는 이제 자동화된 시간 기반 데이터 삭제를 지원합니다..

OpenSearch Serverless는 샤드 수준에서 복제본 확장 지원을 발표했습니다.

OpenSearch Serverless는 출시 당시 데이터 크기 증가에 따라 자동으로 용량 증가를 지원했습니다. 와 더불어 새로운 샤드 복제본 확장 기능을 통해 OpenSearch Serverless는 쿼리 속도의 갑작스러운 급증으로 인해 위협을 받고 있는 샤드를 자동으로 감지하고 새로운 샤드 복제본을 동적으로 추가하여 빠른 응답 시간을 유지하면서 증가된 쿼리 처리량을 처리합니다. 이 접근 방식은 단순히 새 인덱스 복제본을 추가하는 것보다 비용 효율적인 것으로 입증되었습니다.

OCU 사용량을 모니터링하기 위한 AWS 사용자 알림

이번 출시를 통해 OCU 사용률이 검색 또는 수집에 대해 구성된 최대 한도에 도달하거나 도달할 때 알림을 보내도록 시스템을 구성할 수 있습니다. 새로운 AWS 사용자 알림 통합을 사용하면 용량 임계값이 위반될 때마다 알림을 보내도록 시스템을 구성할 수 있습니다. 사용자 알림 기능을 사용하면 서비스를 지속적으로 모니터링할 필요가 없습니다. 자세한 내용은 다음을 참조하세요. AWS 사용자 알림을 사용하여 Amazon OpenSearch Serverless 모니터링.

OpenSearch 대시보드로 경험을 향상하세요

OpenSearch 서비스의 OpenSearch 2.9에는 OpenSearch 대시보드에서 데이터를 쉽고 빠르게 분석할 수 있는 새로운 기능이 도입되었습니다. 이러한 새로운 기능에는 즉시 사용 가능한 새로운 대시보드, OpenSearch 통합으로 사전 구성된 대시보드, 대시보드의 기존 시각화에서 경고 및 이상 탐지를 생성하는 기능이 포함됩니다.

OpenSearch 대시보드 통합

OpenSearch 2.9에는 OpenSearch 대시보드에 OpenSearch 통합 지원이 추가되었습니다. OpenSearch 통합에는 사전 구성된 대시보드가 ​​포함되어 있어 다음과 같은 인기 있는 소스에서 나오는 데이터 분석을 빠르게 시작할 수 있습니다. AWS 클라우드프론트, AWS WAF, AWS 클라우드 트레일및 아마존 가상 프라이빗 클라우드 (Amazon VPC) 흐름 로그.

OpenSearch 대시보드의 경고 및 이상 현상

OpenSearch Service 2.9에서는 귀하의 컴퓨터에서 직접 새로운 경고 모니터를 생성할 수 있습니다. 꺾은선형 차트 시각화 OpenSearch 대시보드에서. OpenSearch에서 이전에 생성된 기존 모니터 또는 감지기를 대시보드 시각화에 연결할 수도 있습니다.

이 새로운 기능은 대시보드와 경고 또는 이상 탐지 플러그인 간의 컨텍스트 전환을 줄이는 데 도움이 됩니다. 서비스의 평균 데이터 볼륨 감소를 감지하기 위해 경고 모니터를 추가하려면 다음 대시보드를 참조하세요.

OpenSearch는 지리공간 집계 지원을 확장합니다.

OpenSearch 버전 2.9에서 OpenSearch 서비스는 세 가지 유형의 지원을 추가했습니다. 지형도형 API를 통한 데이터 집계: 지리_경계, geo_hash및 지리_타일.

지리 형태 필드 유형은 점, 다각형 또는 유도선과 같은 다양한 지리적 형식으로 위치 데이터를 색인화할 수 있는 가능성을 제공합니다. 새로운 집계 유형을 사용하면 지표 및 다중 버킷 지리공간 집계를 사용하여 인덱스에서 문서를 집계하는 유연성이 향상됩니다.

OpenSearch 서비스 운영 업데이트

OpenSearch 서비스는 도메인 관리 노드를 변경할 때 블루/그린 배포를 실행할 필요성을 제거했습니다. 또한 이 서비스는 OpenSearch 서비스 도메인 내의 변경 사항을 추적하기 위해 새로운 자동 조정 지표를 지원하여 자동 조정 이벤트를 개선했습니다.

OpenSearch 서비스를 사용하면 블루/그린 배포 없이 도메인 관리자 노드를 업데이트할 수 있습니다.

2년 상반기부터 OpenSearch Service를 사용하면 블루/그린 배포 없이 전용 클러스터 관리자 노드의 인스턴스 유형이나 인스턴스 수를 수정할 수 있습니다. 이 향상된 기능을 통해 데이터 이동을 방지하면서 도메인 작업 중단을 최소화하면서 더 빠르게 업데이트할 수 있습니다.

이전에는 OpenSearch Service에서 전용 클러스터 관리자 노드를 업데이트하려면 블루/그린 배포를 사용하여 변경해야 했습니다. 블루/그린 배포는 도메인 중단을 방지하기 위한 것이지만 배포는 도메인의 추가 리소스를 활용하므로 트래픽이 적은 기간에 수행하는 것이 좋습니다. 이제 블루/그린 배포 없이 클러스터 관리자 인스턴스 유형 또는 인스턴스 수를 업데이트할 수 있으므로 도메인 작업에 대한 잠재적인 중단을 방지하면서 이러한 업데이트를 더 빠르게 완료할 수 있습니다. 도메인 관리자 인스턴스 유형과 개수를 모두 수정하는 경우 OpenSearch 서비스는 계속 블루/그린 배포를 사용하여 변경합니다. 테스트 실행 옵션을 사용하여 변경 사항에 블루/그린 배포가 필요한지 확인할 수 있습니다.

향상된 자동 조정 경험

2023년 XNUMX월 OpenSearch 서비스는 Auto-Tune을 통해 수행된 도메인 성능 최적화에 대한 더 나은 가시성을 제공하는 새로운 Auto-Tune 지표와 향상된 Auto-Tune 이벤트를 추가했습니다.

Auto-Tune은 OpenSearch 서비스 도메인 리소스를 자동으로 업데이트하여 효율성과 성능을 향상시키는 적응형 리소스 관리 시스템입니다. 예를 들어 자동 조정은 노드의 대기열 크기, 캐시 크기 및 JVM(Java Virtual Machine) 설정과 같은 메모리 관련 구성을 최적화합니다.

이번 출시를 통해 이제 변경 내역을 감사하고 실시간으로 추적할 수 있습니다. 아마존 클라우드 워치 콘솔.

또한 OpenSearch 서비스는 이제 변경 사항에 대한 세부 정보를 게시합니다. 아마존 이벤트 브리지 자동 조정 설정이 권장되거나 OpenSearch 서비스 도메인에 적용되는 경우. 이러한 자동 조정 이벤트는 다음 화면에도 표시됩니다. 공지사항 OpenSearch 서비스 콘솔의 페이지입니다.

새로운 Migration Assistant 솔루션을 사용하여 OpenSearch Service로의 마이그레이션을 가속화하세요.

2023년 XNUMX월, OpenSearch팀은 새로운 오픈소스 솔루션을 출시했습니다.Amazon OpenSearch 서비스용 마이그레이션 지원. 이 솔루션은 자체 관리형 Elasticsearch 및 OpenSearch 도메인에서 OpenSearch Service로의 데이터 마이그레이션을 지원하며 Elasticsearch 7.x(<=7.10), OpenSearch 1.x 및 OpenSearch 2.x를 마이그레이션 소스로 지원합니다. 이 솔루션은 소스와 대상 간의 기존 데이터와 라이브 데이터의 마이그레이션을 용이하게 합니다.

결론

이 게시물에서는 검색, 관찰 가능성, 보안 분석 및 마이그레이션을 통해 비즈니스를 혁신하는 데 도움이 되는 OpenSearch Service의 새로운 릴리스를 다루었습니다. OpenSearch Service, OpenSearch Ingestion 및 OpenSearch Serverless의 각 새로운 기능을 언제 사용해야 하는지에 대한 정보를 제공했습니다.

OpenSearch 대시보드, OpenSearch 플러그인, 그리고 새롭고 흥미로운 OpenSearch 도우미에 대해 자세히 알아보세요. 오픈서치 놀이터.

이 게시물에 설명된 기능을 확인하고 귀중한 피드백을 제공해 주셔서 감사합니다.

저자에 관하여

존 핸들러 캘리포니아주 팔로알토에 본사를 둔 Amazon Web Services의 수석 수석 솔루션 설계자입니다. Jon은 OpenSearch 및 Amazon OpenSearch Service와 긴밀히 협력하여 검색 및 로그 분석 워크로드를 AWS 클라우드로 이전하려는 광범위한 고객에게 도움과 지침을 제공합니다. AWS에 합류하기 전에 Jon은 소프트웨어 개발자로서 4년간 대규모 전자상거래 검색 엔진을 코딩했습니다. Jon은 펜실베이니아 대학교에서 인문학 학사 학위를, 노스웨스턴 대학교에서 컴퓨터 과학 및 인공 지능 분야의 이학 석사 및 박사 학위를 취득했습니다.

하예르 부아피프 Amazon Web Services의 분석 전문가 솔루션 설계자입니다. 그녀는 Amazon OpenSearch Service에 중점을 두고 고객이 다양한 산업 분야에서 잘 설계된 분석 워크로드를 설계하고 구축하도록 돕습니다. Hajer는 야외에서 시간을 보내고 새로운 문화를 발견하는 것을 즐깁니다.

아루나 고빈다라주 Amazon OpenSearch 전문가 솔루션 설계자이며 많은 상용 및 오픈 소스 검색 엔진과 협력해 왔습니다. 그녀는 검색, 관련성, 사용자 경험에 열정을 갖고 있습니다. 최종 사용자 신호를 검색 엔진 행동과 연관시키는 그녀의 전문 지식은 많은 고객이 검색 경험을 개선하는 데 도움이 되었습니다.

프라 샨트 아그라 왈 Amazon OpenSearch Service의 수석 검색 전문가 솔루션 아키텍트입니다. 그는 고객과 긴밀히 협력하여 워크로드를 클라우드로 마이그레이션하도록 돕고 기존 고객이 클러스터를 미세 조정하여 더 나은 성능을 달성하고 비용을 절감하도록 돕습니다. AWS에 합류하기 전에는 다양한 고객이 검색 및 로그 분석 사용 사례에 OpenSearch 및 Elasticsearch를 사용하도록 도왔습니다. 일하지 않을 때는 그가 여행하고 새로운 장소를 탐험하는 것을 볼 수 있습니다. 요컨대 먹기→여행→반복하는 것을 좋아한다.

무슬림 아부 타하 원활한 검색 워크로드 마이그레이션, 최고의 성능을 위한 클러스터 미세 조정 및 비용 효율성 보장을 통해 고객을 안내하는 데 전념하는 수석 OpenSearch 전문가 솔루션 설계자입니다. TAM(기술 계정 관리자) 경력을 바탕으로 무슬림은 기업 고객의 클라우드 채택을 지원하고 다양한 워크로드 세트를 최적화하는 데 풍부한 경험을 제공합니다. 무슬림은 가족과 함께 시간을 보내고, 여행하고, 새로운 장소를 탐험하는 것을 즐깁니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/big-data/amazon-opensearch-h2-2023-in-review/