제퍼넷 로고

생성 데이터 인텔리전스

빅 데이터

Amazon MSK Connect의 작업자 구성 관리를 위한 향상된 기능 소개 | 아마존 웹 서비스

플라톤에 의해 재발행
플라톤에 의해 재발행

시간

조회 수 : 71

아마존 MSK 커넥트 Apache Kafka Connect를 위한 완전 관리형 서비스입니다. 몇 번의 클릭만으로 MSK Connect를 사용하면 Apache Kafka와 외부 시스템 간에 데이터를 이동하는 커넥터를 배포할 수 있습니다.

이제 MSK Connect는 MSK Connect 작업자 구성을 삭제하고, 리소스에 태그를 지정하고, 작업자 구성 및 사용자 지정 플러그인을 관리하는 기능을 지원합니다. AWS 클라우드 포메이션. 이러한 새로운 기능을 함께 사용하면 MSK Connect 리소스를 쉽게 관리하고 CI/CD 파이프라인을 통해 배포를 자동화할 수 있습니다.

MSK Connect를 사용하면 인프라 관리 전문 지식 없이도 개인 연결을 통해 Apache Kafka와 데이터를 쉽게 스트리밍할 수 있습니다. 몇 번의 클릭만으로 다음과 같은 커넥터를 배포할 수 있습니다. Amazon S3 싱크 커넥터 스트리밍 데이터를 로드하기 위해 아마존 단순 스토리지 서비스 (Amazon S3), 다음과 같은 타사에서 개발한 커넥터를 배포합니다. 데베 지움 데이터베이스에서 Apache Kafka로 변경 로그를 스트리밍하거나 사용 사례에 맞게 사용자 정의된 자체 커넥터를 배포합니다.

MSK Connect는 데이터 소스의 스트리밍 데이터를 Apache Kafka 클러스터에 지속적으로 복사하거나 Apache Kafka 클러스터의 데이터를 데이터 싱크에 지속적으로 복사하여 외부 시스템 또는 AWS 서비스를 Apache Kafka와 통합합니다. 커넥터는 데이터를 대상에 전달하기 전에 변환, 형식 변환 또는 데이터 필터링과 같은 간단한 작업을 수행할 수도 있습니다. 플러그인을 사용하여 커넥터를 만들 수 있습니다. 이러한 사용자 정의 플러그인은 커넥터 논리를 정의하는 코드가 포함된 리소스입니다.

MSK Connect의 주요 구성 요소는 다음과 같습니다. 근로자. 각 작업자는 제공된 작업자 구성을 기반으로 커넥터 논리를 실행하는 JVM(Java Virtual Machine) 프로세스입니다. 작업자 구성은 여러 커넥터에서 재사용할 수 있는 커넥터 구성 속성이 포함된 리소스입니다. 각 작업자는 데이터를 병렬로 복사하는 작업 집합으로 구성됩니다.

오늘 우리는 MSK Connect의 세 가지 새로운 기능을 발표합니다.

  • 작업자 구성을 삭제하는 기능
  • 리소스 그룹화, 비용 할당 및 보고, 태그 기반 정책을 통한 액세스 제어를 위한 리소스 태그 지원
  • 작업자 구성 및 사용자 지정 플러그인을 관리하기 위한 AWS CloudFormation 지원

다음 섹션에서는 새로운 기능을 더 자세히 살펴보겠습니다.

작업자 구성 삭제

통합용 커넥터 Apache Kafka 용 Amazon Managed Streaming (Amazon MSK)와 다른 AWS 및 파트너 서비스는 일반적으로 작업자 구성(기본 또는 사용자 지정)을 사용하여 생성됩니다. 이러한 구성은 커넥터 생성 및 삭제로 인해 커질 수 있으며 잠재적으로 구성 관리 문제가 발생할 수 있습니다.

이제 새로운 작업자 구성 삭제 API를 사용하여 사용되지 않는 구성을 삭제할 수 있습니다. 서비스는 구성을 삭제하기 전에 커넥터에서 작업자 구성을 사용하고 있지 않은지 확인합니다. 또한 이제 접두사 필터를 사용하여 작업자 구성 및 사용자 정의 플러그인을 나열할 수 있습니다. ListWorkerConfigurations 과 ListCustomPlugins API 호출. 접두사 필터를 사용하면 이름이 접두사로 시작하는 선택적 리소스를 나열할 수 있으므로 빠르게 선택적 삭제를 수행할 수 있습니다.

새로운 삭제 API를 테스트하려면 다음 단계를 완료하세요.

  1. Amazon MSK 콘솔에서 새 작업자 구성을 생성합니다.
  2. 이름과 선택적 설명을 제공합니다.
  3. . 작업자 구성 섹션에 구성 코드를 입력하세요.

MSK Connect 작업자 구성

구성을 생성한 후 . 구성이 커넥터에서 사용되지 않는 경우 구성 세부 정보 페이지(다음 스크린샷 참조)에서 옵션을 사용할 수 있습니다.

이 새로운 API를 지원하기 위해 추가 workerConfigurationState 작업자 구성 상태를 더 쉽게 추적할 수 있도록 추가되었습니다. 이 새로운 상태는 다음에 대한 API 호출 응답으로 반환됩니다. CreateWorkerConfiguration, DescribeWorkerConfiguration, and ListWorkerConfigurations.

MSK Connect 작업자 구성

  1. 왼쪽 메뉴에서 . 작업자 구성을 삭제합니다.
  2. 확인 팝업에서 작업자 구성 이름을 입력한 후 선택하세요. ..

MSKC 작업자 구성 삭제

작업자 구성이 커넥터와 함께 사용되는 경우 . 다음 스크린샷에 표시된 것처럼 옵션이 비활성화되었습니다.

리소스 태그

MSK Connect는 이제 리소스 태그도 지원합니다. 태그는 AWS 서비스 리소스와 연결할 수 있는 키-값 메타데이터입니다. 커넥터, 사용자 지정 플러그인 및 작업자 구성에 태그를 추가하여 AWS 서비스 전체에서 사용되는 리소스를 구성하고 찾을 수 있습니다. 다음 스크린샷에서는 예제 MSK Connect 커넥터, 플러그인 및 작업자 구성이 리소스 태그 키로 태그 지정되었습니다. project 그리고 가치 demo-tags.

이제 태그를 지정할 수 있습니다. 아마존 엘라스틱 컴퓨트 클라우드 예를 들어 동일한 프로젝트 이름을 가진 (Amazon EC2) 및 Amazon S3 리소스입니다. 그런 다음 태그를 사용하여 비용 할당, 보고, 리소스 그룹화 또는 액세스 제어를 위해 이 특정 프로젝트에 연결된 모든 리소스를 검색할 수 있습니다. MSK Connect는 리소스 생성 시 태그 추가, 기존 리소스에 태그 적용, 리소스에서 태그 제거, 리소스와 연결된 태그 쿼리를 지원합니다.

AWS CloudFormation 지원

이전에는 기존 작업자 구성을 사용하여 AWS CloudFormation으로만 MSK Connect 커넥터를 프로비저닝할 수 있었습니다. 이 새로운 기능을 사용하면 이제 커넥터에서 CREATE, READ, UPDATE, DELETE 및 LIST 작업을 수행하고 AWS CloudFormation을 사용하여 새 작업자 구성을 생성 및 추가할 수 있습니다.

다음 코드는 작업자 구성을 생성하는 예입니다.

{
"Type": "AWS::KafkaConnect::WorkerConfiguration"
"Properties":{
"Name": "WorkerConfigurationName",
"Description": "WorkerConfigurationDescription",
"PropertiesFileContent": String,
"Tags": [Tag,…],
}
}

반환 값은 다음과 같습니다.

  • 새로 생성된 작업자 구성의 ARN
  • 새 작업자 구성 상태
  • 새 작업자 구성 생성 시간
  • 새 작업자 구성의 최신 버전

결론

MSK Connect는 필요한 리소스를 프로비저닝하고, 커넥터의 상태 및 전달 상태를 모니터링하고, 기본 하드웨어를 유지 관리하고, 커넥터 크기를 자동으로 조정하여 워크로드 균형을 맞추는 완전관리형 서비스입니다. 이 게시물에서는 작업자 구성 삭제, MSK Connect 리소스 태그 지정, 기본이 아닌 작업자 구성 생성을 위한 AWS CloudFormation 지원을 위한 API 도입을 통해 커넥터 및 작업자 관리를 간소화하는 MSK Connect에 추가된 새로운 기능에 대해 논의했습니다.

이러한 기능은 Amazon MSK Connect가 제공되는 모든 AWS 리전에서 사용할 수 있습니다. 지역 가용성 목록은 다음을 참조하세요. 지역별 AWS 서비스. MSK Connect에 대해 자세히 알아보려면 다음을 방문하세요. Amazon MSK Connect 개발자 안내서.

저자에 관하여

친마이 나라심하데바라 Amazon Web Services에서 빅 데이터 및 분석을 담당하는 솔루션 아키텍트입니다. Chinmayi는 정보 기술 분야에서 20년 이상의 경력을 갖고 있습니다. 그녀는 AWS 고객이 확장성이 뛰어나고 성능이 뛰어난 고급 솔루션을 구축하도록 돕습니다.

하리타팟푸 캘리포니아에 거주하는 기술 계정 관리자입니다. 그녀는 소프트웨어 산업 구축 및 애플리케이션 확장 분야에서 18년 이상의 경력을 보유하고 있습니다. 그녀는 신기술에 대한 열정을 갖고 있으며 고객이 비용 최적화 및 운영 우수성을 달성하도록 돕는 데 중점을 두고 있습니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.