Yazara göre resim
 

Makine öğrenimi ve veri bilimi üzerine pek çok ders ve kaynak mevcut, ancak veri mühendisliği konusunda çok az ders var. Bu bazı soruları gündeme getiriyor. Zor bir alan mı? Düşük ücret mi sunuyor? Diğer teknoloji rolleri kadar heyecan verici sayılmıyor mu? Ancak gerçek şu ki, birçok şirket aktif olarak veri mühendisliği yeteneği arıyor ve bazen 200,000 ABD Dolarını aşan önemli maaşlar sunuyor. Veri mühendisleri, veri platformlarının mimarları olarak, veri bilimcilerin ve makine öğrenimi uzmanlarının etkili bir şekilde çalışmasını sağlayan temel sistemleri tasarlayıp inşa ederek çok önemli bir rol oynarlar.

DataTalkClub, sektördeki bu boşluğu ele alarak dönüştürücü ve ücretsiz bir eğitim kampı başlattı: "Veri Mühendisliği Zoomcamp“. Bu kurs, veri mühendisliğinde temel beceriler ve pratik deneyimle yeni başlayanlara veya kariyer değiştirmek isteyen profesyonellere güç vermek için tasarlanmıştır.

Bu bir 6 haftalık eğitim kampı birden fazla kurs, okuma materyalleri, atölye çalışmaları ve projeler aracılığıyla öğreneceksiniz. Her modülün sonunda öğrendiklerinizi uygulamanız için size ödev verilecektir.

1. Hafta 1: GCP, Docker, Postgres, Terraform ve ortam kurulumuna giriş.
2. Hafta 2: Mage ile iş akışının düzenlenmesi. 
3. Hafta 3: BigQuery ile veri ambarı ve BigQuery ile makine öğrenimi. 
4. Hafta 4: dbt, Google Data Studio ve Metabase'e sahip analitik mühendis.
5. Hafta 5: Spark ile toplu işleme.
6. Hafta 6: Kafka ile yayın. 

Image DataTalksClub/veri mühendisliği-zoomcamp

Müfredat 6 modül, 2 atölye çalışması ve profesyonel bir veri mühendisi olmak için gereken her şeyi kapsayan bir proje içermektedir.

Modül 1: Kod Olarak Konteynerizasyon ve Altyapıda Uzmanlaşma

Bu modülde, temel bilgilerden başlayarak veri işlem hatları oluşturma, Postgres'i Docker ile çalıştırma ve daha fazlasına ilişkin ayrıntılı eğitimlerle ilerleyerek Docker ve Postgres hakkında bilgi edineceksiniz. 

Modül aynı zamanda pgAdmin, Docker-compose ve SQL tazeleme konuları gibi temel araçları da kapsar; Docker ağ iletişimi hakkında isteğe bağlı içerik ve Windows alt sistemi Linux kullanıcıları için özel bir inceleme içerir. Sonunda kurs size modern bulut tabanlı ortamlar için gerekli olan konteynerleştirme ve kod olarak altyapıya ilişkin bütünsel bir anlayış sağlayan GCP ve Terraform'u tanıtıyor.

Modül 2: İş Akışı Düzenleme Teknikleri

Modül, veri dönüşümü ve entegrasyonu için yenilikçi bir açık kaynaklı hibrit çerçeve olan Mage'in derinlemesine araştırılmasını sunar. Bu modül, iş akışı düzenlemenin temelleriyle başlar, Docker aracılığıyla kurulum ve API'den Postgres'e, Google Cloud Storage'a (GCS) ve ardından BigQuery'ye kadar ETL ardışık düzenleri oluşturma dahil olmak üzere Mage ile uygulamalı alıştırmalara doğru ilerler. 

Modülün video, kaynak ve pratik görevlerden oluşan karışımı, öğrencilere Mage kullanarak karmaşık veri iş akışlarını yönetme becerileri kazandırarak kapsamlı bir öğrenme deneyimi sağlar.

Atölye 1: Veri Kullanımı Stratejileri

İlk atölyede verimli veri alımı ardışık düzenleri oluşturma konusunda ustalaşacaksınız. Atölye, API'lerden ve dosyalardan veri çıkarmak, verileri normalleştirmek ve yüklemek ve artımlı yükleme teknikleri gibi temel becerilere odaklanıyor. Bu atölye çalışmasını tamamladıktan sonra kıdemli bir veri mühendisi gibi verimli veri hatları oluşturabileceksiniz.

Modül 3: Veri Depolama

Modül, BigQuery kullanarak Veri Ambarı'na odaklanan, veri depolama ve analize yönelik derinlemesine bir incelemedir. Bölümleme ve kümeleme gibi temel kavramları kapsar ve BigQuery'nin en iyi uygulamalarını ayrıntılı olarak ele alır. Modül, özellikle Makine Öğreniminin (ML) BigQuery ile entegrasyonu gibi ileri düzey konuları ele alarak ML için SQL kullanımını vurguluyor ve hiperparametre ayarlama, özellik ön işleme ve model dağıtımı hakkında kaynaklar sağlıyor. 

Modül 4: Analitik Mühendisliği

Analitik mühendisliği modülü, BigQuery veya PostgreSQL gibi mevcut bir veri ambarıyla dbt (Veri Oluşturma Aracı) kullanarak bir proje oluşturmaya odaklanır. 

Modül, hem bulut hem de yerel ortamlarda dbt kurulumunu, analitik mühendisliği kavramlarını, ETL ve ELT'yi ve veri modellemeyi tanıtmayı kapsar. Ayrıca artımlı modeller, etiketler, kancalar ve anlık görüntüler gibi gelişmiş dbt özelliklerini de kapsar. 

Son olarak modül, Google Data Studio ve Metabase gibi araçları kullanarak dönüştürülmüş verileri görselleştirme tekniklerini tanıtıyor ve sorun giderme ve verimli veri yükleme için kaynaklar sağlıyor.

Modül 5: Toplu İşleme Yeterliliği

Bu modül, Windows, Linux ve MacOS için kurulum talimatlarının yanı sıra toplu işleme ve Spark'a girişlerle başlayarak Apache Spark kullanılarak toplu işlemeyi kapsar. 

Spark SQL ve DataFrames'i keşfetmeyi, verileri hazırlamayı, SQL işlemlerini gerçekleştirmeyi ve Spark dahili bileşenlerini anlamayı içerir. Son olarak Spark'ın bulutta çalıştırılması ve Spark'ın BigQuery ile entegre edilmesiyle sona eriyor.

Modül 6: Kafka ile Veri Akışı Sanatı

Modül, akış işleme kavramlarına bir girişle başlıyor ve ardından Kafka'nın temelleri, Confluent Cloud entegrasyonu ve üreticiler ile tüketicileri içeren pratik uygulamalar da dahil olmak üzere derinlemesine incelenmesiyle devam ediyor. 

Modül aynı zamanda Kafka yapılandırmasını ve akışlarını da kapsamakta olup akış birleştirmeleri, test etme, pencereleme ve Kafka ksqldb & Connect kullanımı gibi konuları ele almaktadır. Ek olarak, Python akış işleme için Faust, Pyspark – Yapılandırılmış Akış ve Kafka Akışları için Scala örneklerini içeren Python ve JVM ortamlarını da kapsayacak şekilde odağını genişletir. 

Atölye 2: SQL ile Akış İşleme

Akış işleme uygulamalarınızı güçlendirmek için PostgreSQL tarzı deneyimle uygun maliyetli bir çözüm sunan RisingWave ile akış verilerini işlemeyi ve yönetmeyi öğreneceksiniz.

Proje: Gerçek Dünya Veri Mühendisliği Uygulaması

Bu projenin amacı, uçtan uca bir veri hattı oluşturmak için bu kursta öğrendiğimiz tüm kavramları uygulamaktır. Bir veri kümesi seçerek, verileri işlemek ve veri gölünde depolamak için bir işlem hattı oluşturarak, işlenen verileri veri gölünden veri ambarına aktarmak için bir işlem hattı oluşturarak, veriyi dönüştürerek iki kutucuktan oluşan bir gösterge panosu oluşturmak için oluşturacaksınız. veri ambarındaki verilerin kontrol paneli için hazırlanması ve son olarak verilerin görsel olarak sunulacağı bir kontrol paneli oluşturulması.

2024 Kohort Ayrıntıları

• Kayıt: Şimdi kayıt
• Başlangıç ​​tarihi: 15 Ocak 2024, 17:00 CET
• Rehberli destekle kendi hızında öğrenme
• Kohort klasörü ödevler ve son teslim tarihleriyle
• interaktif Slack Topluluğu akran öğrenimi için

Önkoşullar

• Temel kodlama ve komut satırı becerileri
• SQL'de temel
• Python: faydalı ama zorunlu değil

Yolculuğunuza Liderlik Eden Uzman Eğitmenler

• Ankush Khanna
• Victoria Perez Mola
• Alexey Grigorev
• Matt Palmer
• Luis Oliveira
• Michael Ayakkabıcı

2024 grubumuza katılın ve muhteşem bir veri mühendisliği topluluğuyla öğrenmeye başlayın. Uzmanların rehberliğinde eğitim, uygulamalı deneyim ve sektörün ihtiyaçlarına göre uyarlanmış bir müfredat ile bu eğitim kampı, sizi yalnızca gerekli becerilerle donatmakla kalmaz, aynı zamanda sizi kazançlı ve talep gören bir kariyer yolunun ön saflarında konumlandırır. Bugün kaydolun ve hayallerinizi gerçeğe dönüştürün!
 
 

Abid Ali Avan (@1abidaliwan), makine öğrenimi modelleri oluşturmayı seven sertifikalı bir veri bilimcisi uzmanıdır. Şu anda, makine öğrenimi ve veri bilimi teknolojileri üzerine içerik oluşturmaya ve teknik bloglar yazmaya odaklanıyor. Abid, Teknoloji Yönetimi alanında yüksek lisans ve Telekomünikasyon Mühendisliği alanında lisans derecesine sahiptir. Vizyonu, akıl hastalığı ile mücadele eden öğrenciler için bir grafik sinir ağı kullanarak bir AI ürünü oluşturmaktır.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.kdnuggets.com/the-only-free-course-you-need-to-become-a-professional-data-engineer?utm_source=rss&utm_medium=rss&utm_campaign=the-only-free-course-you-need-to-become-a-professional-data-engineer