어제, 몬테카를로 임팩트 서밋 9년 데이터에 대한 2023가지 예측을 공유했습니다. 여기 슬라이드가 있습니다 & 아래에 포함했습니다.
이것이 나의 9가지 예측입니다. 지금부터 XNUMX년 후, 나는 내가 어떻게 했는지 보기 위해 그들에게 점수를 매길 것이다.
- 클라우드 데이터 웨어하우스(CDW)는 75년까지 워크로드의 2024%를 처리할 것입니다. 지난 20년 동안 CDW는 워크로드의 50%에서 36%로 증가했으며 나머지는 온프레미스 데이터베이스가 구성됩니다. 한편, 업계는 그 기간 동안 80억 달러에서 XNUMX억 달러로 성장했습니다.
- 데이터 워크로드는 사용 사례별로 세 그룹으로 분류됩니다. 첫째, 다음과 같은 인메모리 데이터베이스 덕DB 대용량 파일의 경우에도 로컬 분석을 지배하기 위해 성장할 것입니다. CDW는 고전적인 BI 및 탐색 용도를 유지합니다. 클라우드 데이터 레이크하우스는 가장 빠른 대기 시간이 필요하지 않은 대규모 데이터 및 작업을 처리하고 스토리지 가격의 절반으로 수행합니다.
- 메트릭 레이어는 데이터 스택을 통합합니다. 오늘날 데이터에는 두 가지 다른 포크가 있습니다. 첫 번째 포크는 ETL을 사용하여 데이터를 CDW로 펌핑한 다음 BI 또는 데이터 탐색 도구로 펌핑합니다. 두 번째 포크인 기계 학습 스택은 모델 제공 및 모델 교육과 같은 출력을 제외하고 동일합니다. 메트릭 레이어는 메트릭 및 기능이 정의된 단일 위치가 되어 스택을 통합하고 잠재적으로 모델 제공 및 교육을 데이터베이스로 이동합니다.
- 대규모 언어 기계 학습 모델은 데이터 엔지니어의 역할을 바꿀 것입니다. 차트를 생성하기 위해 코드를 작성하고 프레젠테이션에 포함시키는 비디오를 녹화했습니다. 비디오는 Github Copilot이 마법처럼 DuckDB 스타 성장 차트를 생성하는 것을 보여줍니다. Copilot은 주석을 수집하고 코드를 작성하며 내 사용자 지정 테마 기능을 추가합니다. 코드를 실행하면 작동합니다. 이와 같은 기술은 데이터 엔지니어링 작업을 추상화의 더 높은 수준으로 끌어올릴 것입니다.
- WebAssembly 또는 WASM은 최종 사용자 대면 데이터 앱의 필수 부분이 될 것입니다. WASM은 브라우저 소프트웨어를 가속화하는 기술입니다. 페이지 로드 속도가 빨라지고 데이터 처리 속도가 빨라지며 사용자가 더 행복해집니다. 모든 주요 브라우저는 WASM을 지원하므로 최종 사용자를 위한 데이터 앱을 만드는 사람은 누구나 이를 사용할 것입니다.
- 노트북은 Excel 사용자의 20%를 차지합니다. 1b 글로벌 Excel 사용자 중 20%는 데이터 분석을 위해 Python/SQL을 작성하는 프로슈머가 될 것입니다. 그들은 쉽게 공유, 재생산 및 버전 제어되는 Jupyter와 같은 노트북에서 이를 수행할 것입니다. 그 노트북은 회사 내부의 최종 사용자가 사용하는 데이터 앱이 될 것입니다. 부서지기 쉬운 Excel 및 Google 스프레드시트 교체.
- SaaS 애플리케이션은 다음을 사용합니다. 읽기 및 쓰기 모두를 위한 백엔드로서의 CDW. 오늘날 영업, 마케팅 및 재무 데이터는 서로 다른 시스템에 존재합니다. ETL 시스템은 API를 사용하여 분석을 위해 해당 데이터를 CDW로 푸시합니다. 미래에 소프트웨어 제품은 중앙 집중식 보안, 더 빠른 조달 프로세스 및 인접 데이터를 활용하기 위해 CDW를 기반으로 앱을 구축할 것입니다. 이러한 시스템은 CDW에도 다시 기록합니다.
- 데이터 관찰 가능성은 필수 항목이 됩니다. 소프트웨어 엔지니어는 가동 시간을 통해 노력의 성공을 측정합니다. 99.9% 또는 1%의 가동 시간은 1000시간당 70건의 사고를 의미합니다. 오늘날 데이터 팀은 테이블 1000개당 XNUMX건의 사고를 보고 있습니다. 데이터 팀은 데이터 가동 시간/정확도 메트릭에 따라 데이터 관찰 가능성 도구를 사용하여 성능을 측정하고 XNUMX%에 해당하는 수치를 달성합니다.
- 데이터의 60년은 계속됩니다. 데이터 스타트업은 2021년에 총 20억 달러 이상을 모금했으며 모금된 모든 벤처 자금의 XNUMX% 이상을 모금했습니다. 우리는 여전히 이 기초 운동의 초기 단계에 있습니다.
기회를 주신 Monte Carlo 팀과 마지막에 훌륭한 질문을 해주신 청중께 감사드립니다. 라이브가 되면 발표 영상을 올리겠습니다.
