편집자별 이미지
 

수십 년 동안 기업 운영을 지배해 온 준비 기술인 ETL(추출-변환-로드)보다 더 양극화된 데이터 개념은 없습니다. 1970년대에 개발된 ETL은 대규모 데이터 웨어하우스와 리포지토리 시대에 빛을 발했습니다. 엔터프라이즈 데이터 팀은 데이터, 계층화된 보고 시스템 및 데이터 과학 모델을 중앙 집중화하고 비즈니스 인텔리전스(BI) 도구에 대한 셀프 서비스 액세스를 지원했습니다. 그러나 ETL은 클라우드 서비스, 데이터 모델 및 디지털 프로세스 시대에 시대를 맞이했습니다.  

"ETL은 여전히 ​​유효하고/수요가 많으며/낡았으며, 죽었습니까?"와 같은 검색 Google에 결과를 입력하세요. 그 이유는 기업 데이터 팀이 직원 역할과 비즈니스 기능 전반에 걸쳐 광범위하게 사용할 수 있도록 데이터를 준비하는 부담으로 인해 신음하고 있기 때문입니다. ETL은 클라우드에 저장된 방대한 양의 기록 데이터를 처리하기 위해 쉽게 확장되지 않습니다. 또한 신속한 경영진 의사 결정에 필요한 실시간 데이터를 제공하지도 않습니다. 또한 애플리케이션에 데이터를 제공하기 위해 사용자 정의 API를 구축하면 관리가 상당히 복잡해집니다. 현대 기업이 데이터를 변환하고 사용자에게 BI 도구에 대한 셀프 서비스 액세스를 제공하기 위해 500~1,000개의 파이프라인을 보유하는 것은 드문 일이 아닙니다. 그러나 이러한 API는 가져오는 데이터가 변경되면 다시 프로그래밍해야 하므로 끊임없이 진화하고 있습니다. 이 프로세스는 엣지 사용 사례와 같은 많은 최신 데이터 요구 사항에 비해 너무 취약하다는 것이 분명합니다. 

또한 애플리케이션 기능도 발전했습니다. 소스 시스템은 데이터 품질을 강화하는 비즈니스 논리와 도구를 제공하는 동시에 애플리케이션을 사용하여 데이터 변환을 활성화하고 강력한 의미 계층을 제공합니다. 따라서 팀은 대규모로 데이터를 이동하고 변환하고 데이터 웨어하우스에 로드하기 위해 지점 간 인터페이스를 구축할 인센티브가 적습니다. 

두 가지 혁신적인 기술은 변환 부담을 최소화하면서 데이터 민주화를 가능하게 하는 방법을 제시합니다. Zero ETL은 데이터를 이동하지 않고도 사용할 수 있도록 하는 반면, 역방향 ETL은 데이터가 사용 가능해지자마자 필요한 애플리케이션으로 데이터를 가져오는 대신 푸시합니다. 

Zero ETL은 더 작은 데이터 세트의 이동을 최적화합니다. 데이터 복제를 통해 데이터는 데이터 쿼리 또는 실험에 사용할 수 있도록 현재 상태로 클라우드로 이동됩니다. 

하지만 팀이 데이터 이동을 전혀 원하지 않는다면 어떻게 될까요?

데이터 가상화는 최종 사용자로부터 서버를 추상화합니다. 사용자가 단일 소스에서 데이터를 쿼리하면 해당 출력이 다시 푸시됩니다. 그리고 쿼리 통합을 통해 사용자는 여러 데이터 원본을 쿼리할 수 있습니다. 이 도구는 결과를 결합하고 사용자에게 통합된 데이터 결과를 제공합니다. 

이러한 기술은 파이프라인을 구축하거나 데이터를 변환할 필요가 없기 때문에 제로 ETL이라고 합니다. 사용자는 데이터 품질 및 집계 요구 사항을 즉시 처리합니다. 

기록 데이터에 대한 대규모 쿼리를 실행하면 운영 성능이 저하되고 데이터 저장 비용이 증가할 수 있으므로 Zero ETL은 단기 데이터의 임시 분석에 이상적으로 적합합니다. 예를 들어, 많은 소매 및 소비재 경영진은 휴일과 같이 수요가 가장 많은 시간에 마케팅 및 판매 전략에 집중하기 위해 제로 ETL을 사용하여 일일 거래 데이터를 쿼리합니다. 

Google Cortex는 가속기를 제공하여 ETL을 XNUMX으로 활성화합니다. SAP 전사적 자원 계획 시스템 데이터. 세계 최대 소매업체 중 하나와 글로벌 식음료 회사 등 다른 회사들도 제로 ETL 프로세스를 채택했습니다. 

제로 ETL 이득은 다음과 같습니다: 

• 액세스 속도 제공: 제로 ETL 프로세스를 사용하여 셀프 서비스 쿼리용 데이터를 프로비저닝하면 파이프라인을 구축할 필요가 없기 때문에 기존 ETL 프로세스를 사용하는 데 걸리는 시간이 40~50% 절약됩니다.
• 데이터 스토리지 요구사항 감소: 데이터 가상화 또는 쿼리 통합을 통해 데이터가 이동되지 않습니다. 사용자는 쿼리 결과만 저장하므로 저장 요구 사항이 줄어듭니다.
• 비용 절감 제공: ETL 프로세스를 전혀 사용하지 않는 팀은 기존 ETL에 비해 데이터 준비 및 저장 비용을 30-40% 절약합니다.
• 데이터 성능 개선: 사용자는 자신이 원하는 데이터만 쿼리하기 때문에 결과가 25% 더 빨리 전달됩니다.  

ETL 없이 시작하려면 팀은 이 기술에 가장 적합한 사용 사례를 평가하고 이를 실행하는 데 필요한 데이터 요소를 식별해야 합니다. 또한 원하는 데이터 소스를 가리키도록 제로 ETL 도구를 구성해야 합니다. 그런 다음 팀은 데이터를 추출하고 데이터 자산을 생성하여 다운스트림 사용자에게 공개합니다. 

역방향 ETL 기술은 다운스트림 애플리케이션으로의 데이터 흐름을 단순화합니다. REST API 또는 엔드포인트를 사용하고 데이터를 가져오기 위한 스크립트를 작성하는 대신 팀은 역방향 ETL 도구를 활용하여 데이터를 적시에 비즈니스 프로세스에 전체적으로 푸시합니다. 

역방향 ETL을 사용하면 다음과 같은 이점이 있습니다.

• 시간과 노력 절감: 주요 사용 사례에 역방향 ETL을 사용하면 주요 사용 사례의 데이터에 액세스하는 데 드는 시간과 노력이 20~25% 줄어듭니다. 선도적인 크루즈 선사는 디지털 마케팅 이니셔티브를 위해 역ETL을 활용합니다.
• 데이터 가용성 향상: 목표 데이터의 90~95%가 적시에 전달되므로 팀은 주요 이니셔티브에 필요한 데이터에 액세스할 수 있다는 확신을 갖게 됩니다.
• 비용 절감: 역방향 ETL 프로세스는 전문적인 프로그래밍 기술이 필요한 API의 필요성을 줄이고 관리 복잡성을 증가시킵니다. 결과적으로 팀은 데이터 비용을 20-25% 절감합니다. 

역방향 ETL을 시작하려면 데이터 팀은 주문형 데이터가 필요한 사용 사례를 평가해야 합니다. 다음으로, 전달할 데이터의 빈도와 양을 결정하고 이러한 데이터 양을 처리하는 데 적합한 도구를 선택합니다. 그런 다음 데이터 웨어하우스의 데이터 자산을 대상 소비 시스템으로 지정합니다. 팀은 효율성을 측정하고 프로세스를 확장하기 위해 하나의 데이터 로드로 프로토타입을 만들어야 합니다. 

제로 ETL 및 역방향 ETL 도구는 팀에 사용자와 애플리케이션에 데이터를 제공하기 위한 새로운 옵션을 제공합니다. 사용 사례 요구 사항, 데이터 볼륨, 제공 기간 및 비용 동인과 같은 요소를 분석하여 기존 ETL, 제로 ETL 또는 역 ETL 등 데이터 제공을 위한 최상의 옵션을 선택할 수 있습니다.

파트너는 기능적 및 비기능적 요구 사항을 충족하는 최고의 기술과 도구에 대한 통찰력을 제공하고, 가중치 스코어카드를 제공하고, 승리한 도구로 가치 증명(POV)을 수행한 다음, 더 많은 사용 사례를 위해 도구를 운영함으로써 이러한 노력을 지원합니다. 

제로 ETL 및 역방향 ETL을 통해 데이터 팀은 사용자와 애플리케이션에 필요한 데이터를 언제 어디서든 제공하여 혁신 문제를 피하면서 비용과 성능을 향상시키려는 목표를 달성합니다. 
 
 

아르납 센기술 및 의사결정 과학 업계에서 16년 이상의 경력을 쌓은 숙련된 전문가입니다. 그는 현재 저명한 데이터 분석 회사인 Tredence에서 데이터 엔지니어링 부사장으로 근무하며 조직이 AI-ML/클라우드/빅 데이터 전략을 설계하도록 돕습니다. Arnab은 데이터 수익화에 대한 전문 지식을 바탕으로 다양한 산업 분야의 B2B 및 B2C 고객 전반에 걸쳐 비즈니스 혁신을 추진할 수 있는 데이터의 잠재 잠재력을 찾아냅니다.
 
Arnab은 팀 구축에 대한 열정과 인력, 프로세스, 기술 세트 확장 능력을 바탕으로 통신, 소매, BFSI 등 다양한 업종에 걸쳐 수백만 달러 규모의 포트폴리오를 성공적으로 관리하는 데 도움을 주었습니다. 그는 이전에 Mu Sigma 및 IGate에서 직책을 맡아 혁신적인 솔루션을 개발하여 고객의 문제를 해결하는 데 중요한 역할을 했습니다.
 
Arnab은 뛰어난 리더십 기술과 심오한 도메인 지식을 바탕으로 Forbes Tech Council의 회원이 되었습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://www.kdnuggets.com/evolution-in-etl-how-skipping-transformation-enhances-data-management?utm_source=rss&utm_medium=rss&utm_campaign=evolution-in-etl-how-skipping-transformation-enhances-data-management