Amazon OpenSearch 서버리스 다음에 대한 주문형 Auto Scaling 구성입니다. 아마존 오픈서치 서비스. OpenSearch Serverless는 출시 이후 꾸준히 증가해 왔습니다. 고객은 용량을 수동으로 프로비저닝하는 것보다 서비스에서 용량을 자동으로 관리하는 것을 선호합니다. 지금까지 고객은 프로비저닝된 OpenSearch Service 도메인과 OpenSearch Serverless 간에 데이터를 이동하기 위해 사용자 지정 코드나 타사 솔루션을 사용해야 했습니다.

우리는 최근에 다음과 같은 기능을 도입했습니다. Amazon OpenSearch 수집 (OSI)을 통해 이러한 마이그레이션을 더욱 쉽게 만들 수 있습니다. OSI는 OpenSearch Service 도메인 및 OpenSearch Serverless 컬렉션에 실시간 로그, 지표 및 추적 데이터를 제공하는 완전 관리형 서버리스 데이터 수집기입니다.

이 게시물에서는 프로비저닝된 OpenSearch Service 도메인과 OpenSearch Serverless 간에 데이터를 마이그레이션하는 단계를 간략하게 설명합니다. 보안 역할 및 대시보드 개체와 같은 메타데이터 마이그레이션은 다른 후속 게시물에서 다루겠습니다.

솔루션 개요

다음 다이어그램은 OSI를 사용하여 OpenSearch Service 프로비저닝 도메인과 OpenSearch Serverless 간에 데이터를 이동하는 데 필요한 구성 요소를 보여줍니다. OpenSearch Service를 소스로 사용하고 OpenSearch Serverless 컬렉션을 싱크로 사용하여 OSI를 사용합니다.

사전 조건

시작하기 전에 다음 단계를 완료하여 필요한 리소스를 생성하세요.

1. 를 생성 AWS 자격 증명 및 액세스 관리 (IAM) OpenSearch 수집 파이프라인이 OpenSearch Serverless 컬렉션에 쓰기 위해 가정하는 역할입니다. 이 역할은 sts_role_arn 파이프라인 구성의 매개변수입니다.
2. 권한 정책 연결 OpenSearch Service 도메인에서 데이터를 읽을 수 있도록 역할을 부여합니다. 다음은 최소 권한이 있는 샘플 정책입니다.

   {
      "Version":"2012-10-17",
      "Statement":[
         {
            "Effect":"Allow",
            "Action":"es:ESHttpGet",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_cat/indices",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/scroll",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search"
            ]
         },
         {
            "Effect":"Allow",
            "Action":"es:ESHttpPost",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search/point_in_time",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/*/_search/scroll"
            ]
         },
         {
            "Effect":"Allow",
            "Action":"es:ESHttpDelete",
            "Resource":[
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/point_in_time",
               "arn:aws:es:us-east-1:{account-id}:domain/{domain-name}/_search/scroll"
            ]
         }
      ]
   }

3. 권한 정책 연결 컬렉션에 데이터를 보낼 수 있도록 역할에 추가합니다. 다음은 최소 권한이 있는 샘플 정책입니다.

   {
     "Version": "2012-10-17",
     "Statement": [
       {
         "Action": [
           "aoss:BatchGetCollection",
           "aoss:APIAccessAll"
         ],
         "Effect": "Allow",
         "Resource": "arn:aws:aoss:{region}:{your-account-id}:collection/{collection-id}"
       },
       {
         "Action": [
           "aoss:CreateSecurityPolicy",
           "aoss:GetSecurityPolicy",
           "aoss:UpdateSecurityPolicy"
         ],
         "Effect": "Allow",
         "Resource": "*",
         "Condition": {
           "StringEquals": {
             "aoss:collection": "{collection-name}"
           }
         }
       }
     ]
   }

4. 다음을 맡도록 역할을 구성합니다. 신뢰 관계, 다음과 같이 :

   {
           "Version": "2012-10-17",
           "Statement": [
               {
                   "Effect": "Allow",
                   "Principal": {
                       "Service": "osis-pipelines.amazonaws.com"
                   },
                   "Action": "sts:AssumeRole"
               }
           ]
       }

5. 다음을 추가하는 것이 좋습니다. aws:SourceAccount 과 aws:SourceArn 다음으로부터 보호하기 위한 정책의 조건 키 혼란스러운 대리인 문제:

   "Condition": {
       "StringEquals": {
           "aws:SourceAccount": "{your-account-id}"
       },
       "ArnLike": {
           "aws:SourceArn": "arn:aws:osis:{region}:{your-account-id}:pipeline/*"
       }
   }

6. OpenSearch 수집 도메인 역할 ARN을 백엔드 사용자로 매핑합니다( all_access 사용자)를 도메인 사용자에게 전달합니다. 우리는 all_access 역할. 프로덕션 시나리오의 경우 읽기 및 쓰기에 충분한 권한이 있는 역할을 사용해야 합니다.
   
7. OpenSearch 서버리스 컬렉션 만들기, 데이터가 수집되는 곳입니다.
8. 다음 코드에 표시된 대로 데이터 정책을 연결하여 컬렉션에 대한 OpenSearch 수집 역할 권한을 부여합니다.

   [
     {
       "Rules": [
         {
           "Resource": [
             "index/collection-name/*"
           ],
           "Permission": [
             "aoss:CreateIndex",
             "aoss:UpdateIndex",
             "aoss:DescribeIndex",
             "aoss:WriteDocument",
           ],
           "ResourceType": "index"
         }
       ],
       "Principal": [
         "arn:aws:iam::{account-id}:role/pipeline-role"
       ],
       "Description": "Pipeline role access"
     }
   ]

9. 컬렉션이 VPC 컬렉션으로 정의된 경우 네트워크 정책 수집 파이프라인에서 이를 구성합니다.

이제 프로비저닝된 도메인의 데이터를 OpenSearch Serverless로 이동할 준비가 되었습니다.

GET _cat/indexs?v

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/big-data/use-amazon-opensearch-ingestion-to-migrate-to-amazon-opensearch-serverless/