Hình ảnh của Tác giả
 

Kỹ thuật dữ liệu đề cập đến quá trình tạo và duy trì các cấu trúc và hệ thống thu thập, lưu trữ và chuyển đổi dữ liệu thành định dạng mà các nhà khoa học, nhà phân tích dữ liệu và các bên liên quan trong kinh doanh có thể dễ dàng phân tích và sử dụng. Lộ trình này sẽ hướng dẫn bạn nắm vững các khái niệm và công cụ khác nhau, cho phép bạn xây dựng và thực hiện các loại đường dẫn dữ liệu khác nhau một cách hiệu quả.

Việc đóng gói trong vùng chứa cho phép các nhà phát triển đóng gói các ứng dụng và phần phụ thuộc của họ vào các vùng chứa nhẹ, di động có thể chạy nhất quán trên các môi trường khác nhau. Mặt khác, cơ sở hạ tầng dưới dạng mã là hoạt động quản lý và cung cấp cơ sở hạ tầng thông qua mã, cho phép các nhà phát triển xác định, tạo phiên bản và tự động hóa cơ sở hạ tầng đám mây.

Trong bước đầu tiên, bạn sẽ được giới thiệu các nguyên tắc cơ bản về cú pháp SQL, bộ chứa Docker và cơ sở dữ liệu Postgres. Bạn sẽ tìm hiểu cách khởi tạo máy chủ cơ sở dữ liệu bằng Docker cục bộ cũng như cách tạo đường dẫn dữ liệu trong Docker. Hơn nữa, bạn sẽ phát triển sự hiểu biết về Nhà cung cấp đám mây của Google (GCP) và Terraform. Terraform sẽ đặc biệt hữu ích cho bạn trong việc triển khai các công cụ, cơ sở dữ liệu và khung công tác trên đám mây.

Việc điều phối quy trình làm việc quản lý và tự động hóa luồng dữ liệu thông qua các giai đoạn xử lý khác nhau, chẳng hạn như nhập dữ liệu, làm sạch, chuyển đổi và phân tích. Đó là một cách làm việc hiệu quả, đáng tin cậy và có thể mở rộng hơn.

Trong bước thứ hai, bạn sẽ tìm hiểu về các công cụ điều phối dữ liệu như Airflow, Mage hoặc Prefect. Tất cả chúng đều là nguồn mở và có nhiều tính năng cần thiết để quan sát, quản lý, triển khai và thực thi đường truyền dữ liệu. Bạn sẽ học cách thiết lập Prefect bằng Docker và xây dựng quy trình ETL bằng Postgres, Google Cloud Storage (GCS) và API BigQuery. 

Kiểm tra các 5 lựa chọn thay thế luồng không khí để điều phối dữ liệu và chọn cái phù hợp hơn với bạn.

Kho dữ liệu là quá trình thu thập, lưu trữ và quản lý lượng lớn dữ liệu từ nhiều nguồn khác nhau trong kho lưu trữ tập trung, giúp phân tích và trích xuất những hiểu biết có giá trị dễ dàng hơn.

Trong bước thứ ba, bạn sẽ tìm hiểu mọi thứ về kho dữ liệu Postgres (cục bộ) hoặc BigQuery (đám mây). Bạn sẽ tìm hiểu về các khái niệm phân vùng và phân cụm, đồng thời đi sâu vào các phương pháp hay nhất của BigQuery. BigQuery cũng cung cấp khả năng tích hợp máy học để bạn có thể đào tạo các mô hình trên dữ liệu lớn, điều chỉnh siêu tham số, xử lý trước tính năng và triển khai mô hình. Nó giống như SQL dành cho máy học.

Kỹ thuật phân tích là một chuyên ngành chuyên biệt tập trung vào thiết kế, phát triển và bảo trì các mô hình dữ liệu cũng như quy trình phân tích cho các nhóm khoa học dữ liệu và thông minh kinh doanh. 

Ở bước thứ tư, bạn sẽ tìm hiểu cách xây dựng quy trình phân tích bằng dbt (Công cụ xây dựng dữ liệu) với kho dữ liệu hiện có, chẳng hạn như BigQuery hoặc PostgreSQL. Bạn sẽ hiểu được các khái niệm chính như ETL và ELT, cũng như mô hình hóa dữ liệu. Bạn cũng sẽ tìm hiểu các tính năng dbt nâng cao như mô hình gia tăng, thẻ, hook và ảnh chụp nhanh. 

Cuối cùng, bạn sẽ học cách sử dụng các công cụ trực quan hóa như Google Data Studio và Metabase để tạo trang tổng quan tương tác và báo cáo phân tích dữ liệu.

Xử lý hàng loạt là một kỹ thuật kỹ thuật dữ liệu bao gồm việc xử lý khối lượng lớn dữ liệu theo đợt (mỗi phút, giờ hoặc thậm chí vài ngày), thay vì xử lý dữ liệu theo thời gian thực hoặc gần thời gian thực. 

Ở bước thứ năm của hành trình học tập, bạn sẽ được làm quen với cách xử lý hàng loạt với Apache Spark. Bạn sẽ tìm hiểu cách cài đặt nó trên nhiều hệ điều hành khác nhau, làm việc với Spark SQL và DataFrames, chuẩn bị dữ liệu, thực hiện các thao tác SQL và hiểu biết về nội bộ Spark. Ở cuối bước này, bạn cũng sẽ tìm hiểu cách khởi động phiên bản Spark trên đám mây và tích hợp nó với kho dữ liệu BigQuery.

Truyền phát đề cập đến việc thu thập, xử lý và phân tích dữ liệu theo thời gian thực hoặc gần thời gian thực. Không giống như xử lý hàng loạt truyền thống, trong đó dữ liệu được thu thập và xử lý đều đặn, xử lý dữ liệu theo luồng cho phép phân tích liên tục thông tin cập nhật nhất.

Ở bước thứ sáu, bạn sẽ tìm hiểu về truyền dữ liệu với Apache Kafka. Bắt đầu với những điều cơ bản và sau đó đi sâu vào tích hợp với Confluent Cloud và các ứng dụng thực tế có sự tham gia của nhà sản xuất và người tiêu dùng. Ngoài ra, bạn sẽ cần tìm hiểu về cách nối luồng, kiểm tra, tạo cửa sổ và cách sử dụng Kafka ksqldb & Connect. 

Nếu bạn muốn khám phá các công cụ khác nhau cho các quy trình kỹ thuật dữ liệu khác nhau, bạn có thể tham khảo 14 công cụ kỹ thuật dữ liệu cần thiết sẽ sử dụng vào năm 2024.

Ở bước cuối cùng, bạn sẽ sử dụng tất cả các khái niệm và công cụ bạn đã học ở các bước trước để tạo một dự án kỹ thuật dữ liệu toàn diện từ đầu đến cuối. Điều này sẽ liên quan đến việc xây dựng một quy trình để xử lý dữ liệu, lưu trữ dữ liệu trong hồ dữ liệu, tạo một quy trình để chuyển dữ liệu đã xử lý từ hồ dữ liệu đến kho dữ liệu, chuyển đổi dữ liệu trong kho dữ liệu và chuẩn bị dữ liệu cho bảng điều khiển . Cuối cùng, bạn sẽ xây dựng một trang tổng quan trình bày dữ liệu một cách trực quan.

Tất cả các bước được đề cập trong hướng dẫn này có thể được tìm thấy trong Kỹ thuật dữ liệu ZoomCamp. ZoomCamp này bao gồm nhiều mô-đun, mỗi mô-đun chứa các hướng dẫn, video, câu hỏi và dự án để giúp bạn tìm hiểu và xây dựng quy trình dữ liệu. 

Trong lộ trình kỹ thuật dữ liệu này, chúng tôi đã tìm hiểu các bước khác nhau cần thiết để tìm hiểu, xây dựng và triển khai quy trình dữ liệu nhằm xử lý, phân tích và lập mô hình dữ liệu. Chúng tôi cũng đã tìm hiểu về cả ứng dụng và công cụ đám mây cũng như các công cụ cục bộ. Bạn có thể chọn xây dựng mọi thứ cục bộ hoặc sử dụng đám mây để dễ sử dụng. Tôi khuyên bạn nên sử dụng đám mây vì hầu hết các công ty đều thích nó và muốn bạn tích lũy kinh nghiệm về các nền tảng đám mây như GCP.
 
 

Abid Ali Awan (@ 1abidaliawan) là một chuyên gia khoa học dữ liệu được chứng nhận và yêu thích việc xây dựng các mô hình học máy. Hiện tại, anh đang tập trung vào việc sáng tạo nội dung và viết blog kỹ thuật về công nghệ máy học và khoa học dữ liệu. Abid có bằng Thạc sĩ về quản lý công nghệ và bằng cử nhân về kỹ thuật viễn thông. Tầm nhìn của anh là xây dựng một sản phẩm AI sử dụng mạng lưới thần kinh đồ thị dành cho những học sinh đang vật lộn với bệnh tâm thần.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://www.kdnuggets.com/7-steps-to-mastering-data-engineering?utm_source=rss&utm_medium=rss&utm_campaign=7-steps-to-mastering-data-engineering