Bild av författare
 

Datateknik hänvisar till processen att skapa och underhålla strukturer och system som samlar in, lagrar och omvandlar data till ett format som enkelt kan analyseras och användas av datavetare, analytiker och affärsintressenter. Denna färdplan kommer att guida dig i att bemästra olika koncept och verktyg, vilket gör att du effektivt kan bygga och utföra olika typer av datapipelines.

Containerization tillåter utvecklare att paketera sina applikationer och beroenden i lätta, bärbara behållare som kan köras konsekvent i olika miljöer. Infrastruktur som kod, å andra sidan, är praxis att hantera och tillhandahålla infrastruktur genom kod, vilket gör det möjligt för utvecklare att definiera, versionera och automatisera molninfrastruktur.

I det första steget kommer du att introduceras till grunderna för SQL-syntax, Docker-behållare och Postgres-databasen. Du kommer att lära dig hur du initierar en databasserver med Docker lokalt, samt hur du skapar en datapipeline i Docker. Vidare kommer du att utveckla en förståelse för Google Cloud Provider (GCP) och Terraform. Terraform kommer att vara särskilt användbart för dig när du distribuerar dina verktyg, databaser och ramverk i molnet.

Arbetsflödesorkestrering hanterar och automatiserar dataflödet genom olika bearbetningssteg, såsom dataintag, rengöring, transformation och analys. Det är ett mer effektivt, pålitligt och skalbart sätt att göra saker på.

I det andra steget kommer du att lära dig om dataorkestreringsverktyg som Airflow, Mage eller Prefect. De är alla öppen källkod och kommer med flera viktiga funktioner för att observera, hantera, distribuera och köra datapipeline. Du kommer att lära dig att konfigurera Prefect med Docker och bygga en ETL-pipeline med Postgres, Google Cloud Storage (GCS) och BigQuery API:er. 

Kolla in 5 Luftflödesalternativ för dataorkestrering och välj den som fungerar bättre för dig.

Datalager är processen att samla in, lagra och hantera stora mängder data från olika källor i ett centraliserat arkiv, vilket gör det lättare att analysera och extrahera värdefulla insikter.

I det tredje steget lär du dig allt om antingen Postgres (lokalt) eller BigQuery (moln) datalager. Du kommer att lära dig om begreppen partitionering och klustring och dyka in i BigQuerys bästa praxis. BigQuery tillhandahåller också maskininlärningsintegration där du kan träna modeller på stora data, hyperparameterjustering, funktionsförbearbetning och modelldistribution. Det är som SQL för maskininlärning.

Analytics Engineering är en specialiserad disciplin som fokuserar på design, utveckling och underhåll av datamodeller och analytiska pipelines för business intelligence och datavetenskapsteam. 

I det fjärde steget lär du dig hur du bygger en analytisk pipeline med hjälp av dbt (Data Build Tool) med ett befintligt datalager, som BigQuery eller PostgreSQL. Du kommer att få en förståelse för nyckelbegrepp som ETL vs ELT, samt datamodellering. Du kommer också att lära dig avancerade dbt-funktioner som inkrementella modeller, taggar, krokar och ögonblicksbilder. 

I slutändan kommer du att lära dig att använda visualiseringsverktyg som Google Data Studio och Metabase för att skapa interaktiva instrumentpaneler och dataanalysrapporter.

Batchbearbetning är en datateknisk teknik som involverar bearbetning av stora mängder data i batcher (varje minut, timme eller till och med dag), snarare än att bearbeta data i realtid eller nära realtid. 

I det femte steget av din inlärningsresa kommer du att introduceras till batchbearbetning med Apache Spark. Du kommer att lära dig att installera det på olika operativsystem, arbeta med Spark SQL och DataFrames, förbereda data, utföra SQL-operationer och få en förståelse för Sparks interna funktioner. Mot slutet av det här steget kommer du också att lära dig hur du startar Spark-instanser i molnet och integrerar det med datalagret BigQuery.

Streaming avser insamling, bearbetning och analys av data i realtid eller nära realtid. Till skillnad från traditionell batchbehandling, där data samlas in och bearbetas med jämna mellanrum, möjliggör strömmande databehandling kontinuerlig analys av den mest uppdaterade informationen.

I det sjätte steget får du lära dig om dataströmning med Apache Kafka. Börja med grunderna och dyk sedan ner i integration med Confluent Cloud och praktiska applikationer som involverar producenter och konsumenter. Dessutom behöver du lära dig om strömanslutningar, testning, fönster och användningen av Kafka ksqldb & Connect. 

Om du vill utforska olika verktyg för olika datateknikprocesser kan du hänvisa till 14 viktiga datateknikverktyg att använda 2024.

I det sista steget kommer du att använda alla begrepp och verktyg som du har lärt dig i de tidigare stegen för att skapa ett omfattande datateknikprojekt från slut till slut. Detta kommer att innebära att bygga en pipeline för att bearbeta data, lagra data i en datasjö, skapa en pipeline för överföring av bearbetad data från datasjön till ett datalager, transformera data i datalagret och förbereda den för instrumentpanelen . Slutligen kommer du att bygga en instrumentpanel som visuellt presenterar data.

Alla steg som nämns i den här guiden finns i Data Engineering ZoomCamp. Denna ZoomCamp består av flera moduler, som var och en innehåller handledning, videor, frågor och projekt som hjälper dig att lära dig och bygga datapipelines. 

I denna färdplan för datateknik har vi lärt oss de olika stegen som krävs för att lära oss, bygga och utföra datapipelines för bearbetning, analys och modellering av data. Vi har också lärt oss om både molnapplikationer och verktyg samt lokala verktyg. Du kan välja att bygga allt lokalt eller använda molnet för enkel användning. Jag skulle rekommendera att använda molnet då de flesta företag föredrar det och vill att du ska få erfarenhet av molnplattformar som GCP.
 
 

Abid Ali Awan (@1abidaliawan) är en certifierad datavetare som älskar att bygga modeller för maskininlärning. För närvarande fokuserar han på att skapa innehåll och skriva tekniska bloggar om maskininlärning och datavetenskap. Abid har en magisterexamen i teknikledning och en kandidatexamen i telekommunikationsteknik. Hans vision är att bygga en AI-produkt med hjälp av ett grafiskt neuralt nätverk för studenter som kämpar med psykisk ohälsa.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.kdnuggets.com/7-steps-to-mastering-data-engineering?utm_source=rss&utm_medium=rss&utm_campaign=7-steps-to-mastering-data-engineering