데이터는 모든 조직의 주요 전략적 자산이며, 모든 회사의 핵심은 데이터 비즈니스입니다. 그러나 많은 조직에서 데이터는 일반적으로 SaaS(Software as a Service) 애플리케이션, 운영 데이터베이스, 데이터 웨어하우스 등 다양한 시스템에 분산되어 있습니다. 이러한 데이터 사일로로 인해 조직 내 데이터에 대한 통합된 보기를 얻고 실시간으로 조치를 취하여 최대의 가치를 도출하는 것이 어렵습니다.
XNUMX년 전, 우리는 Amazon Kinesis 데이터 스트림는 최초의 클라우드 기반 서버리스 스트리밍 데이터 서비스로서 기업의 중추 역할을 하며 시스템 경계를 넘어 데이터를 이동하고 데이터 사일로를 깨뜨립니다. 데이터 스트리밍을 통해 다음에서 실행되는 데이터 레이크에 전력을 공급할 수 있습니다. 아마존 단순 스토리지 서비스 (Amazon S3), 개인화를 통해 고객 경험을 풍부하게 하고, 공장 기계의 예측 유지 관리를 통해 운영 효율성을 개선하고, 보다 정확한 기계 학습(ML) 모델을 통해 더 나은 통찰력을 얻으세요. Amazon Kinesis Data Streams는 수만 명의 고객을 위한 기본 데이터 전략 핵심입니다. 원시 데이터 스트림이 함께 모이면 다음과 같은 스트림 처리 엔진과의 원활한 통합을 통해 실시간으로 데이터를 지속적으로 변환, 강화 및 쿼리할 수 있는 기능이 잠금 해제됩니다. Apache Flink용 Amazon 관리형 서비스.
예를 들어, 내셔널 하키 리그 (NHL) 실시간 NHL EDGE 게임 데이터 및 통계를 스트리밍하여 하키 팬에게 귀중한 통찰력을 제공하여 팬들이 긴장을 늦추지 않도록 팬 경험을 재구상했습니다. 퍽과 선수 스웨터(저지)의 NHL EDGE 기술은 NHL에 대해 매초 수천 개의 데이터 포인트를 생성하며, 이를 AWS에서 분석하여 대결과 같은 주요 이벤트에 대한 예상 결과를 예측할 수 있습니다. 수천 개의 신호를 처리하고 분석하기 위해 NHL은 Kinesis Data Streams 및 Apache Flink용 Amazon Managed Service를 사용하여 실시간 스트리밍 데이터 기반을 구축하여 데이터를 스트리밍, 준비 및 ML 모델에 공급함으로써 몇 초 만에 대면 예측을 알리는 데 도움을 주었습니다. 시청자의 참여를 유도하는 새로운 방법을 확대합니다.
이러한 스트리밍 데이터 기반을 바탕으로 현재 많은 고객이 생성 AI를 통해 혁신적인 새로운 제품과 서비스를 제공하는 방법을 고민하고 있습니다. 스트리밍을 통해 기업은 데이터 저장소 내에서 사용 가능한 데이터를 대규모 언어 모델(LLM)에 안전하게 실시간으로 연결할 수 있습니다. LLM은 수십억 개의 매개변수로 작업할 수 있지만 회사 고객에게 맞춤화된 매력적인 경험을 제공하기 위해 LLM에는 회사 사용자를 위한 개인화 데이터와 회사 데이터 저장소 내의 독점 지식 저장소가 필요합니다. 실시간으로 쿼리할 수 있는 개인화 및 독점 데이터를 제공하려면 스트리밍을 통합한 데이터 전략이 필요합니다.
실시간 스트리밍 데이터 전략을 갖춘 고객은 생성 AI를 갖춘 혁신적인 제품을 제공하는 최첨단에 있습니다. 한 고객은 데이터 전략을 위해 Kinesis Data Streams를 채택했으며 디지털 제품에서 수십억 개의 이벤트를 스트리밍하여 실시간 통찰력을 얻었습니다. 지연 시간이 짧은 데이터 스트리밍과 분석을 결합하면 실험과 자동화된 피드백을 위해 완벽하게 통합된 자립형 시스템을 통해 사용자 경험을 이해하고 개인화할 수 있습니다. 올해 초 그들은 이미 강력한 데이터 기반을 구축하여 혁신적인 디지털 미디어 생성 AI 제품을 출시했습니다. Kinesis Data Streams에 구축된 동일한 데이터 기반을 사용하여 사용자가 생성된 콘텐츠와 상호 작용하는 방식을 지속적으로 분석하고 제품 팀이 애플리케이션을 미세 조정하는 데 도움을 줍니다.
"실시간 스트리밍 데이터 기술은 디지털 혁신에 필수적입니다. 이러한 서비스는 고객이 애플리케이션과 모델에 데이터를 가져와 더욱 스마트하게 만드는 데 도움이 됩니다. 실시간 데이터는 데이터가 생성되는 순간에 데이터를 사용하여 기업에 데이터 기반 의사 결정, 예측 및 통찰력을 제공하고 타이밍이 성공의 열쇠인 세상에서 비교할 수 없는 우위를 제공합니다. 데이터를 한 번 가져와 조직 전체에서 사용하고 해당 데이터의 가치가 줄어들기 전에 조치를 취하세요.. "
– Mindy Ferguson, AWS 스트리밍 및 메시징 부사장.
Kinesis Data Streams의 XNUMX주년을 기념하면서 고객들은 이 혁신적인 서비스를 계속해서 높이 평가하는 네 가지 주요 이유를 공유했습니다. 그들은 프로비저닝 또는 관리할 기본 서버 없이 데이터를 쉽게 스트리밍하고, 일관된 성능으로 대규모로 운영하고, 높은 복원력과 내구성을 달성하고, 수많은 소스 및 싱크와의 광범위한 통합을 통해 각각 데이터를 수집하고 처리하는 이점을 좋아합니다.
사용 용이성
Kinesis Data Streams를 시작하는 방법은 간단합니다. 개발자는 Kinesis Data Streams 콘솔에서 클릭 몇 번이나 단일 API 호출을 통해 데이터 스트림을 생성할 수 있습니다. 크기나 구성 변경도 단일 API 호출이며, 각 데이터 스트림에는 기본 24시간 데이터 보존 기간이 제공됩니다. 개발자는 클러스터, 버전 업그레이드 또는 스토리지 용량 계획에 대해 걱정할 필요가 없습니다. 데이터 스트림을 켜고 데이터 수집을 시작하기만 하면 됩니다.
고객의 요구 사항은 지난 10년 동안 발전해 왔습니다. 더 많은 이벤트가 캡처되고 스트리밍됨에 따라 고객은 운영 오버헤드 없이 데이터 스트림이 탄력적으로 확장되기를 원합니다. 이에 대응하여 우리는 온디맨드 2021년 스트리밍을 통해 간단하고 자동적인 확장 경험을 제공합니다. 온디맨드 스트림을 사용하면 서비스에서 스트림 용량 확장을 사전에 처리하도록 할 수 있으며 수집, 검색 및 저장된 실제 데이터에 대해서만 요금이 부과됩니다. 고객이 계속해서 더 많은 기능을 요구함에 따라 각 온디맨드 스트림의 수집 처리량 제한을 200MB/s에서 XNUMXMB/s로 늘렸습니다. 1GB / s 2023년 XNUMX월, 그리고 그 후 2GB / s 더 높은 처리량 워크로드를 수용하기 위해 2023년 XNUMX월에 출시됩니다. 가장 사용하기 쉬운 스트리밍 데이터 서비스로 혁신을 계속하기 위해 우리는 고객의 사용 사례에 적극적으로 귀를 기울입니다.
Canva 온라인 디자인 및 시각적 커뮤니케이션 플랫폼입니다. 월간 사용자 수가 30천만 명에서 135억 XNUMX천XNUMX백만 명으로 빠르게 성장함에 따라 제품 혁신을 주도하고 사용자 경험을 개인화하기 위해 쉽게 운영할 수 있는 대규모 스트리밍 데이터 플랫폼을 구축했습니다.
“Amazon Kinesis Data Streams와 AWS Lambda는 Canva의 로깅 플랫폼 전체에서 사용되어 하루에 60억 개가 넘는 로그 이벤트를 수집하고 처리합니다. Kinesis Data Streams와 Lambda의 결합은 서버 배포 및 관리와 같은 대규모 데이터 파이프라인을 관리하는 데 종종 필요한 많은 작업을 추상화하는 동시에 확장성이 뛰어나고 안정적인 서비스를 제공합니다. 이를 통해 우리는 운영 작업에 시간을 낭비하지 않고 요청이 많은 기능을 구축하여 세계적 수준의 제품을 제공하는 데 집중할 수 있었습니다."
– Phoebe Zhou, Canva의 소프트웨어 엔지니어.
일관된 성능으로 대규모 운영
스트리밍 데이터 전략의 기본 요구 사항은 짧은 대기 시간으로 대량의 데이터를 수집하고 처리하는 것입니다. Kinesis Data Streams는 수만 명의 고객에 대해 매일 수조 개의 레코드를 처리합니다. 고객은 3.5만 개 이상의 고유한 스트림을 실행하고 매일 45PB가 넘는 데이터를 처리합니다. 당사의 최대 고객은 개별 스트림을 통해 초당 15GB가 넘는 실시간 데이터를 수집합니다. 이는 지구상의 모든 사람에 대해 매초마다 여러 데이터 포인트를 스트리밍하는 것과 같습니다! 이 규모에서도 모든 고객은 가용성이 확보된 후 밀리초 이내에 데이터를 검색합니다.
또한 고객은 하나의 애플리케이션이 다른 애플리케이션의 읽기 처리량에 영향을 미치는 것에 대해 걱정하지 않고 각각 다른 가치를 파생하는 여러 애플리케이션을 사용하여 동일한 데이터를 처리하기를 원합니다. 향상된 팬아웃 각 데이터 소비자에 대한 전용 읽기 처리량과 짧은 대기 시간을 제공합니다. 이를 통해 엔터프라이즈 플랫폼 팀은 더 많은 팀과 애플리케이션에 실시간 데이터를 제공할 수 있게 되었습니다.
VMware 카본 블랙 Kinesis Data Streams를 사용하여 매일 페타바이트 규모의 데이터를 수집하여 수백만 명의 고객 엔드포인트를 보호합니다. 팀은 전문성에 중점을 두는 반면 AWS는 증가하는 고객 트래픽과 요구 사항을 실시간으로 충족하기 위해 데이터 스트리밍을 관리합니다.
“개별 고객의 데이터가 증가하거나 감소하면 Amazon Kinesis Data Streams의 탄력성을 사용하여 컴퓨팅을 확장하거나 축소하여 비용을 효과적으로 관리하는 동시에 데이터를 안정적으로 처리할 수 있습니다. 이것이 Kinesis Data Streams가 적합한 이유입니다. 가장 큰 장점은 AWS 솔루션의 관리형 특성입니다. 이는 우리의 아키텍처를 형성했으며 복잡성을 다른 곳으로 옮기는 데 도움이 되었습니다.”
– Stoyan Dimkov, VMware Carbon Black의 직원 엔지니어 겸 소프트웨어 설계자.
더 많은 내용을 확인하세요. 사례 연구.
데이터 스트리밍을 위한 탄력성과 내구성 제공
데이터가 급증함에 따라 고객은 데이터 처리 및 재처리에 있어 더 많은 유연성을 원합니다. 예를 들어, 데이터를 소비하는 애플리케이션이 일정 기간 동안 오프라인 상태가 되는 경우 팀은 데이터 손실 없이 나중에 처리를 재개하기를 원합니다. Kinesis Data Streams는 기본 24시간 보존 기간을 제공하므로 레코드 처리를 시작할 특정 타임스탬프를 선택할 수 있습니다. 와 더불어 보존 기간 연장 기능을 사용하면 데이터 보존 기간을 최대 7일로 구성할 수 있습니다.
금융 서비스 및 의료와 같은 일부 산업에서는 규정 준수 요구 사항이 더 엄격하므로 고객은 이러한 요구 사항을 지원하기 위해 더 긴 데이터 보존 기간을 요청했습니다. 따라서 우리는 장기 저장 최대 1년 동안 데이터 보존을 지원합니다. 이제 수천 명의 Kinesis Data Streams 고객이 이러한 기능을 사용하여 스트리밍 애플리케이션의 탄력성과 내구성을 높이고 있습니다.
메르 카도 알았는데라틴 아메리카의 선도적인 전자상거래 및 결제 플랫폼인 은 Kinesis Data Streams를 사용하여 결제 처리, 고객 경험 및 운영에 대한 스트리밍 데이터 전략을 강화합니다.
“Amazon Kinesis Data Streams를 핵심으로 수천 명의 데이터 생산자에 분산된 매일 약 70억 개의 메시지를 처리합니다. Kinesis Data Streams와 Amazon DynamoDB Streams를 활용하여 이벤트 중심 아키텍처를 채택했으며 데이터 변경 사항에 신속하게 대응할 수 있습니다."
– Mercado Libre의 수석 소프트웨어 전문가 Joaquin Fernandez.
어디에 있든 데이터에 액세스하세요
고객은 다양한 도구와 애플리케이션을 사용하며, 조직의 데이터는 여러 위치에 있는 경우가 많습니다. 따라서 적시에 통찰력을 얻으려면 조직 전체에서 데이터를 쉽게 통합하는 능력이 중요합니다. 개발자는 Kinesis Producer Library, Kinesis Client Library 및 AWS SDK를 사용하여 사용자 지정 데이터 생산자 및 데이터 소비자 애플리케이션을 신속하게 구축합니다. 고객은 마이크로서비스에서 스마트 TV, 심지어 자동차까지 데이터 생산자를 확장했습니다. 우리는 40개 이상의 통합 AWS 서비스와 Adobe Experience Platform 및 Databricks와 같은 타사 애플리케이션을 사용합니다. 우리의 세부 사항에 따라 백서 AWS에서 최신 데이터 스트리밍 아키텍처를 구축할 때 Kinesis Data Streams는 개인화, 실시간 통찰력, 사물 인터넷(IoT) 및 이벤트 중심 아키텍처와 같은 서버리스 및 실시간 사용 사례의 백본 역할을 합니다. 최근 통합 아마존 레드 시프트 Kinesis Data Streams에서 수백 메가바이트의 데이터를 몇 초 만에 데이터 웨어하우스로 수집할 수 있습니다. 이 통합을 사용하여 거의 실시간으로 사기를 탐지하는 방법에 대해 자세히 알아보려면 다음을 참조하세요. Amazon Kinesis Data Streams 및 Amazon Redshift ML과 함께 Amazon Redshift 스트리밍 수집을 사용하여 거의 실시간으로 사기를 탐지합니다.
2023년에 출시된 또 다른 통합은 아마존 모니트론 예측적 유지보수 관리를 강화합니다. 이제 측정 데이터와 해당 추론 결과를 Kinesis Data Streams로 스트리밍하고, 예측 유지 관리를 조정하고, IoT 데이터 레이크를 구축할 수 있습니다. 자세한 내용은 다음을 참조하세요. Amazon Monitron 및 Amazon Kinesis를 사용하여 예측 유지 관리를 위한 실행 가능한 통찰력 생성.
다음으로 IoT, 데이터 스트리밍, 기계 학습을 결합한 NHL 사용 사례로 돌아가 보겠습니다.
AWS에서 제공하는 NHL Edge IQ는 고급 분석과 대결 확률 및 기회 분석과 같은 새로운 ML 통계를 통해 팬이 액션에 더 가까이 다가갈 수 있도록 지원합니다.
“우리는 Amazon Kinesis Data Streams를 사용하여 퍽과 플레이어 위치, 대결 위치, 현재 게임 상황에 대한 NHL EDGE 데이터를 처리하여 데이터 생산자와 애플리케이션 소비를 분리합니다. Apache Flink용 Amazon Managed Service는 Flink 애플리케이션을 실행하는 데 사용되며 Kinesis Data Streams의 데이터를 사용하여 Amazon SageMaker의 예측 모델을 호출하여 실시간 Face-off 확률 지표를 제공합니다. 확률 결과는 Amazon S3에도 저장되어 SageMaker에서 모델을 지속적으로 재교육합니다. 이 프로젝트의 성공으로 우리는 다음 지표를 구축하게 되었습니다. 기회 분석는 각 골문에 맞는 득점 기회의 질에 대한 25개 이상의 통찰력을 제공합니다. Kinesis Data Streams와 Apache Flink용 Amazon Managed Service 애플리케이션은 실시간 게임 내 예측을 수행하는 데 매우 중요했으며, 시스템이 최대 16개의 실시간 NHL 게임에 대한 기회 분석 계산을 동시에 수행할 수 있도록 했습니다.”
– Eric Schneider, National Hockey League의 소프트웨어 엔지니어링 SVP.
더 많은 내용을 확인하세요. 사례 연구.
데이터의 미래는 실시간이다
실시간 데이터 스트리밍과 생성 AI의 융합은 디지털로 연결된 세상의 초석이 될 것을 약속합니다. IoT 장치, 센서, 소셜 미디어 등에서 지속적으로 유입되는 실시간 정보를 기반으로 하는 생성적 AI가 보편화되고 있습니다. 역동적으로 변화하는 교통 상황을 탐색하는 자율주행 자동차부터 실시간 수요를 기반으로 에너지 소비를 최적화하는 스마트 시티에 이르기까지 AI와 실시간 데이터의 결합은 산업 전반에 걸쳐 효율성과 혁신을 뒷받침할 것입니다. 유비쿼터스적이고 적응력이 뛰어나며 우리 삶에 깊이 통합된 이러한 AI 기반 애플리케이션은 풍부한 실시간 통찰력을 활용하여 편의성을 향상하고 기후 변화, 의료, 재난 대응과 같은 중요한 과제를 해결할 것입니다. Kinesis Data Streams를 사용하면 조직은 견고한 데이터 기반을 구축하여 새로운 기술을 신속하게 채택하고 새로운 기회를 더 빨리 발견할 수 있습니다. 이는 엄청난 규모가 될 것으로 예상됩니다.
자세히 알아보기 고객이 데이터 스트리밍으로 무엇을 하고 있는지에 대해 알아보세요. Kinesis Data Streams 개념과 사용 사례를 빠르게 살펴보고 싶다면 다음을 확인하세요. Amazon Kinesis Data Streams 101 재생 목록. 데이터 스트림 구축을 시작하려면 다음을 방문하세요. Amazon Kinesis Data Streams 개발자 안내서.
저자,
로이 (KDS) 왕 Amazon Kinesis Data Streams의 수석 제품 관리자입니다. 그는 조직이 더 빠르고 스마트하게 운영될 수 있도록 고객으로부터 배우고 협력하는 데 열정을 쏟고 있습니다. 업무 외에 Roy는 새 아들에게 좋은 아빠가 되기 위해 노력하고 플라스틱 모델 키트를 만듭니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/amazon-kinesis-data-streams-celebrating-a-decade-of-real-time-data-innovation/
