Triển khai đường ống học máy trên AWS Fargate
Hướng dẫn từng bước dành cho người mới bắt đầu về cách chứa và triển khai đường dẫn ML serverless trên AWS Fargate.
By Moez Ali, Người sáng lập & Tác giả của PyCaret
đậy nút lại
Trong của chúng tôi bài cuối Khi triển khai quy trình máy học trên đám mây, chúng tôi đã trình bày cách phát triển quy trình máy học trong PyCaret, chứa nó bằng Docker và phân phát dưới dạng ứng dụng web sử dụng Google Kubernetes Engine. Nếu bạn chưa từng nghe nói về PyCaret trước đây, vui lòng đọc phần này thông báo để tìm hiểu thêm.
Trong hướng dẫn này, chúng tôi sẽ sử dụng cùng một quy trình máy học và ứng dụng Flask mà chúng tôi đã xây dựng và triển khai trước đó. Lần này chúng ta sẽ trình bày cách chứa và triển khai quy trình máy học không có máy chủ bằng AWS Fargate.
👉 Mục tiêu học tập của Hướng dẫn này
- Thùng chứa là gì? Docker là gì? Kubernetes là gì?
- Dịch vụ container đàn hồi của Amazon (ECS) là gì?
- AWS Fargate và triển khai serverless là gì?
- Xây dựng và đẩy hình ảnh Docker lên Amazon Elastic Container Register.
- Tạo và thực thi định nghĩa tác vụ bằng cơ sở hạ tầng do AWS quản lý, tức là AWS Fargate.
- Xem hoạt động của ứng dụng web sử dụng quy trình máy học đã được đào tạo để dự đoán các điểm dữ liệu mới trong thời gian thực.
Hướng dẫn này sẽ bao gồm toàn bộ quy trình làm việc bắt đầu từ việc xây dựng hình ảnh docker cục bộ, tải nó lên Amazon Elastic Container Register, tạo cụm, sau đó xác định và thực thi tác vụ bằng cơ sở hạ tầng do AWS quản lý, tức là AWS Fargate.
Trước đây, chúng tôi đã đề cập đến việc triển khai trên các nền tảng đám mây khác như Azure và Google. Nếu bạn muốn tìm hiểu thêm về những điều đó, bạn có thể đọc những câu chuyện sau:
- Triển khai Đường ống học máy trên Google Kubernetes Engine
- Triển khai quy trình Machine Learning trên dịch vụ web AWS
- Xây dựng và triển khai ứng dụng web học máy đầu tiên của bạn trên Heroku PaaS
💻 Hộp công cụ dành cho hướng dẫn này
Kim tự tháp
Kim tự tháp là một thư viện máy học mã nguồn mở, mã thấp bằng Python, được sử dụng để đào tạo và triển khai các quy trình và mô hình máy học vào sản xuất. PyCaret có thể được cài đặt dễ dàng bằng pip.
pip install pycaretbình
bình là một framework cho phép bạn xây dựng các ứng dụng web. Ứng dụng web có thể là trang web thương mại, blog, hệ thống thương mại điện tử hoặc ứng dụng tạo dự đoán từ dữ liệu được cung cấp trong thời gian thực bằng cách sử dụng các mô hình được đào tạo. Nếu bạn chưa cài đặt Flask, bạn có thể sử dụng pip để cài đặt nó.
Hộp công cụ Docker cho Windows 10 Home
phu bến tàu là một công cụ được thiết kế để giúp việc tạo, triển khai và chạy các ứng dụng dễ dàng hơn bằng cách sử dụng các thùng chứa. Bộ chứa được sử dụng để đóng gói một ứng dụng với tất cả các thành phần cần thiết của nó, chẳng hạn như thư viện và các phần phụ thuộc khác, rồi gửi tất cả thành một gói. Nếu bạn chưa từng sử dụng docker trước đây, hướng dẫn này cũng đề cập đến việc cài đặt Docker Toolbox (cũ) trên Cửa sổ 10 Trang chủ. Trong hướng dẫn trước chúng tôi đã đề cập đến cách cài đặt Docker Desktop trên Phiên bản Windows 10 Pro.
Amazon Web Services (AWS)
Amazon Web Services (AWS) là một nền tảng đám mây toàn diện và được áp dụng rộng rãi, do Amazon cung cấp. Nó có hơn 175 dịch vụ đầy đủ tính năng từ các trung tâm dữ liệu trên toàn cầu. Nếu trước đây bạn chưa từng sử dụng AWS, bạn có thể đăng ký cho một tài khoản miễn phí.
✔️Hãy bắt đầu nào…..
Thùng chứa là gì?
Trước khi bắt đầu triển khai bằng AWS Fargate, hãy hiểu vùng chứa là gì và tại sao chúng ta lại cần vùng chứa?
Bạn đã bao giờ gặp vấn đề khi mã của bạn hoạt động tốt trên máy tính của bạn nhưng khi một người bạn cố gắng chạy chính xác mã đó thì nó lại không hoạt động? Nếu bạn của bạn lặp lại các bước tương tự thì họ sẽ nhận được kết quả tương tự, phải không? Câu trả lời một từ cho điều này là môi trường. Môi trường của bạn bè bạn khác với môi trường của bạn.
Môi trường bao gồm những gì? → Ngôn ngữ lập trình như Python và tất cả các thư viện cũng như phần phụ thuộc với các phiên bản chính xác sử dụng ứng dụng nào đã được xây dựng và thử nghiệm.
Nếu chúng tôi có thể tạo một môi trường mà chúng tôi có thể chuyển sang các máy khác (ví dụ: máy tính của bạn bè bạn hoặc nhà cung cấp dịch vụ đám mây như Google Cloud Platform), thì chúng tôi có thể tái tạo kết quả ở bất kỳ đâu. Kể từ đây, a chứa là một loại phần mềm đóng gói một ứng dụng và tất cả các phần phụ thuộc của nó để ứng dụng chạy một cách đáng tin cậy từ môi trường điện toán này sang môi trường điện toán khác.
Docker là gì?
Docker là công ty cung cấp phần mềm (còn gọi là phu bến tàu) cho phép người dùng xây dựng, chạy và quản lý vùng chứa. Trong khi vùng chứa của Docker là phổ biến nhất, còn có những vùng chứa khác ít nổi tiếng hơn lựa chọn thay thế như là Lxd và LXC.
Bây giờ về mặt lý thuyết, bạn đã hiểu container là gì và cách Docker được sử dụng để chứa các ứng dụng, hãy tưởng tượng một tình huống trong đó bạn phải chạy nhiều container trên một nhóm máy để hỗ trợ ứng dụng machine learning cấp doanh nghiệp với khối lượng công việc khác nhau cả ngày lẫn đêm. Điều này khá phổ biến trong đời thực và nghe có vẻ đơn giản nhưng lại có rất nhiều công việc phải làm thủ công.
Bạn cần khởi động đúng vùng chứa vào đúng thời điểm, tìm ra cách chúng có thể giao tiếp với nhau, xử lý các cân nhắc về lưu trữ, xử lý các vùng chứa hoặc phần cứng bị lỗi và hàng triệu thứ khác!
Toàn bộ quá trình quản lý hàng trăm, hàng nghìn container để duy trì và chạy ứng dụng này được gọi là điều phối container. Đừng để bị cuốn vào các chi tiết kỹ thuật.
Tại thời điểm này, bạn phải nhận ra rằng việc quản lý các ứng dụng trong đời thực yêu cầu nhiều hơn một vùng chứa và việc quản lý tất cả cơ sở hạ tầng để duy trì hoạt động của vùng chứa là một gánh nặng cồng kềnh, thủ công và hành chính.
Điều này đưa chúng ta đến Kubernetes.
Kubernetes là gì?
Kubernetes là một hệ thống nguồn mở được Google phát triển vào năm 2014 để quản lý các ứng dụng được đóng gói. Nói một cách đơn giản, Kubernetes là một hệ thống để chạy và điều phối các ứng dụng được đóng gói trên một cụm máy.
Mặc dù Kubernetes là một hệ thống nguồn mở do Google phát triển nhưng hầu hết tất cả các nhà cung cấp dịch vụ đám mây lớn đều cung cấp Kubernetes dưới dạng Dịch vụ được quản lý. Ví dụ: Dịch vụ Kubernetes đàn hồi của Amazon (EKS) do Amazon cung cấp, Công cụ Kubernetes của Google (GKE) được cung cấp bởi Google, và Dịch vụ Azure Kubernetes (AKS) được cung cấp bởi Microsoft.
Cho đến nay chúng ta đã thảo luận và hiểu:
✔️ A chứa
✔️ Docker
✔️ Kubernetes
Trước khi giới thiệu AWS Fargate, chỉ còn một điều cần bàn và đó là dịch vụ điều phối container của chính Amazon Dịch vụ container đàn hồi của Amazon (ECS).
Dịch vụ bộ chứa đàn hồi AWS (ECS)
Amazon Elastic Container Service (Amazon ECS) là nền tảng điều phối container tự phát triển của Amazon. Ý tưởng đằng sau ECS tương tự như Kubernetes (cả hai đều là dịch vụ điều phối).
ECS là dịch vụ gốc của AWS, nghĩa là chỉ có thể sử dụng trên cơ sở hạ tầng AWS. Mặt khác, EKS dựa trên Kubernetes, một dự án nguồn mở có sẵn cho người dùng chạy trên nhiều đám mây (AWS, GCP, Azure) và thậm chí cả tại chỗ.
Amazon cũng cung cấp dịch vụ điều phối container dựa trên Kubernetes được gọi là Dịch vụ Kubernetes đàn hồi của Amazon (Amazon EKS). Mặc dù mục đích của ECS và EKS khá giống nhau, tức là sắp xếp các ứng dụng được chứa trong container, có khá nhiều khác biệt về giá cả, khả năng tương thích và bảo mật. Không có câu trả lời tốt nhất và việc lựa chọn giải pháp phụ thuộc vào trường hợp sử dụng.
Bất kể bạn đang sử dụng dịch vụ điều phối container nào (ECS hay EKS), có hai cách bạn có thể triển khai cơ sở hạ tầng cơ bản:
- Quản lý thủ công cụm và cơ sở hạ tầng cơ bản như Máy ảo/Máy chủ/(còn được gọi là phiên bản EC2 trong AWS).
- Serverless — Hoàn toàn không cần quản lý bất cứ thứ gì. Chỉ cần tải container lên là xong. ← Đây là AWS Fargate.
AWS Fargate — điện toán serverless cho container
AWS Fargate là một công cụ điện toán serverless dành cho các container hoạt động với cả Amazon Elastic Container Service (ECS) và Amazon Elastic Kubernetes Service (EKS). Fargate giúp bạn dễ dàng tập trung vào việc xây dựng ứng dụng của mình. Fargate loại bỏ nhu cầu cung cấp và quản lý máy chủ, cho phép bạn chỉ định và thanh toán tài nguyên cho mỗi ứng dụng, đồng thời cải thiện tính bảo mật thông qua việc cách ly ứng dụng theo thiết kế.
Fargate phân bổ lượng điện toán phù hợp, loại bỏ nhu cầu chọn phiên bản và mở rộng công suất cụm. Bạn chỉ trả tiền cho các tài nguyên cần thiết để chạy vùng chứa của mình, do đó không cần cung cấp quá mức và không phải trả tiền cho các máy chủ bổ sung.
Không có câu trả lời tốt nhất về cách tiếp cận nào tốt hơn. Lựa chọn giữa việc sử dụng máy chủ hoặc quản lý cụm EC2 theo cách thủ công tùy thuộc vào trường hợp sử dụng. Một số gợi ý có thể hỗ trợ cho sự lựa chọn này bao gồm:
ECS EC2 (Phương pháp tiếp cận thủ công)
- Bạn có toàn quyền sử dụng AWS.
- Bạn có một nhóm Vận hành chuyên trách để quản lý tài nguyên AWS.
- Bạn đã có dấu chân trên AWS tức là bạn đang quản lý các phiên bản EC2
Cổng xa AWS
- Bạn không có nhóm Vận hành lớn để quản lý tài nguyên AWS.
- Bạn không muốn chịu trách nhiệm vận hành hoặc muốn giảm bớt nó.
- Ứng dụng của bạn không có trạng thái (Ứng dụng không trạng thái là ứng dụng không lưu dữ liệu khách hàng được tạo trong một phiên để sử dụng trong phiên tiếp theo với khách hàng đó).
Thiết lập bối cảnh kinh doanh
Một công ty bảo hiểm muốn cải thiện khả năng dự báo dòng tiền của mình bằng cách dự đoán tốt hơn chi phí của bệnh nhân bằng cách sử dụng số liệu nhân khẩu học và rủi ro sức khỏe bệnh nhân cơ bản tại thời điểm nhập viện.
Mục tiêu
Để xây dựng và triển khai một ứng dụng web trong đó thông tin nhân khẩu học và sức khỏe của bệnh nhân được nhập vào biểu mẫu dựa trên web, sau đó đưa ra số tiền dự đoán.
Nhiệm vụ
- Đào tạo và phát triển quy trình máy học để triển khai.
- Xây dựng ứng dụng web bằng khung Flask. Nó sẽ sử dụng quy trình ML đã được đào tạo để tạo dự đoán về các điểm dữ liệu mới trong thời gian thực.
- Xây dựng và đẩy hình ảnh Docker lên Amazon Elastic Container Register.
- Tạo và thực thi tác vụ triển khai ứng dụng bằng cơ sở hạ tầng serverless AWS Fargate.
Vì chúng ta đã đề cập đến hai nhiệm vụ đầu tiên trong hướng dẫn ban đầu nên chúng ta sẽ tóm tắt nhanh chúng và sau đó tập trung vào các mục còn lại trong danh sách trên. Nếu bạn muốn tìm hiểu thêm về cách phát triển quy trình học máy bằng Python bằng PyCaret và xây dựng ứng dụng web bằng khung Flask, vui lòng đọc hướng dẫn này.
👉 Phát triển quy trình học máy
Chúng tôi đang sử dụng PyCaret bằng Python để đào tạo và phát triển quy trình học máy sẽ được sử dụng như một phần của ứng dụng web của chúng tôi. Quy trình Machine Learning có thể được phát triển trong Môi trường phát triển tích hợp (IDE) hoặc Notebook. Chúng tôi đã sử dụng một cuốn sổ tay để chạy đoạn mã dưới đây:
Khi bạn lưu mô hình trong PyCaret, toàn bộ quy trình chuyển đổi dựa trên cấu hình được xác định trong thiết lập() chức năng được tạo ra. Tất cả sự phụ thuộc lẫn nhau được sắp xếp tự động. Xem quy trình và mô hình được lưu trữ trong biến 'deployment_28042020':
👉 Xây dựng ứng dụng web
Hướng dẫn này không tập trung vào việc xây dựng ứng dụng Flask. Nó chỉ được thảo luận ở đây cho đầy đủ. Bây giờ, quy trình máy học của chúng tôi đã sẵn sàng, chúng tôi cần một ứng dụng web có thể kết nối với quy trình đã đào tạo của chúng tôi để tạo dự đoán về các điểm dữ liệu mới trong thời gian thực. Chúng tôi đã tạo ứng dụng web bằng khung Flask trong Python. Có hai phần của ứng dụng này:
- Front-end (được thiết kế bằng HTML)
- Back-end (được phát triển bằng Flask)
Đây là giao diện ứng dụng web của chúng tôi:
Nếu bạn chưa theo dõi cho đến nay, không có vấn đề gì. Bạn có thể chỉ cần phân nhánh cái này kho từ GitHub. Đây là cách thư mục dự án của bạn sẽ xem xét điểm này:
10 bước để triển khai quy trình ML bằng AWS Fargate:
👉 Bước 1 — Cài đặt Docker Toolbox (dành cho Windows 10 Home)
Để xây dựng hình ảnh docker cục bộ, bạn sẽ cần cài đặt Docker trên máy tính của mình. Nếu bạn đang sử dụng Windows 10 64-bit: Pro, Enterprise hoặc Education (Build 15063 trở lên), bạn có thể tải xuống Docker Desktop từ Dockerhub.
Tuy nhiên, nếu bạn đang sử dụng Windows 10 Home, bạn sẽ cần cài đặt bản phát hành cuối cùng của Docker Toolbox cũ (v19.03.1) từ Trang GitHub của Docker.
Tải xuống và chạy DockerToolbox-19.03.1.exe tập tin.
Cách dễ nhất để kiểm tra xem quá trình cài đặt có thành công hay không bằng cách mở dấu nhắc lệnh và nhập 'docker'. Nó sẽ in menu trợ giúp.
👉 Bước 2— Tạo Dockerfile
Bước đầu tiên để tạo hình ảnh Docker là tạo Dockerfile trong thư mục dự án. Dockerfile chỉ là một tệp có một bộ hướng dẫn. Dockerfile cho dự án này trông như thế này:
Dockerfile phân biệt chữ hoa chữ thường và phải nằm trong thư mục dự án cùng với các tệp dự án khác. Dockerfile không có phần mở rộng và có thể được tạo bằng bất kỳ trình soạn thảo văn bản nào. Bạn có thể tải xuống Dockerfile được sử dụng trong dự án này từ đây Kho lưu trữ GitHub.
👉 Bước 3— Tạo kho lưu trữ trong Cơ quan đăng ký vùng chứa đàn hồi (ECR)
(a) Đăng nhập vào bảng điều khiển AWS của bạn và tìm kiếm Sổ đăng ký vùng chứa đàn hồi:
(b) Tạo một kho lưu trữ mới:
Đối với bản demo này, chúng tôi đã tạo 'pycaret-deployment-aws-repository'.
(c) Nhấp vào “Xem lệnh đẩy”:
(d) Sao chép lệnh đẩy:
👉 Bước 4— Thực hiện lệnh đẩy
Điều hướng đến thư mục dự án của bạn bằng Anaconda Nhắc và thực hiện các lệnh bạn đã sao chép ở bước trên. Mã bên dưới chỉ mang tính chất minh họa và có thể không hoạt động như hiện tại. Để có được mã phù hợp để thực thi, bạn phải lấy bản sao mã từ “Xem lệnh đẩy” bên trong kho lưu trữ.
Bạn phải ở trong thư mục chứa Dockerfile và phần còn lại của mã trước khi thực hiện các lệnh này.
Command 1
aws ecr get-login-password --region ca-central-1 | docker login --username AWS --password-stdin 212714531992.dkr.ecr.ca-central-1.amazonaws.comCommand 2
docker build -t pycaret-deployment-aws-repository .Command 3
docker tag pycaret-deployment-aws-repository:latest 212714531992.dkr.ecr.ca-central-1.amazonaws.com/pycaret-deployment-aws-repository:latestCommand 4
docker push 212714531992.dkr.ecr.ca-central-1.amazonaws.com/pycaret-deployment-aws-repository:latest👉 Bước 5— Kiểm tra hình ảnh đã tải lên của bạn
Nhấp vào kho lưu trữ bạn đã tạo và bạn sẽ thấy URI hình ảnh của hình ảnh đã tải lên ở bước trên. Sao chép URI hình ảnh (cần có ở bước 7 bên dưới).
👉 Bước 6 - Tạo và định cấu hình cụm
(a) Nhấp vào “Cụm” trên menu bên trái:
(b) Chọn “Chỉ kết nối mạng” và nhấp vào Bước tiếp theo:
(c) Cấu hình cụm (Nhập tên cụm) và nhấp vào Tạo:
(d) Cụm được tạo:
👉 Bước 7— Tạo định nghĩa Nhiệm vụ mới
A công việc cần có định nghĩa để chạy bộ chứa Docker trong Amazon ECS. Một số tham số bạn có thể chỉ định trong công việc định nghĩa bao gồm: Hình ảnh Docker để sử dụng với mỗi vùng chứa trong công việc. Cần sử dụng bao nhiêu CPU và bộ nhớ với mỗi loại công việc hoặc mỗi thùng chứa trong một công việc.
(a) Nhấp vào “Tạo định nghĩa nhiệm vụ mới”:
(b) Chọn “FARGATE” làm loại khởi chạy:
(c) Điền thông tin chi tiết:
(d) Nhấp vào “Thêm vùng chứa” và điền thông tin chi tiết:
(e) Nhấp vào “Tạo tác vụ” ở dưới cùng bên phải.
👉 Bước 8 —Thực hiện định nghĩa nhiệm vụ
Ở bước 7, chúng tôi đã tạo một tác vụ sẽ khởi động vùng chứa. Bây giờ chúng ta sẽ thực hiện nhiệm vụ bằng cách nhấp vào “Chạy nhiệm vụ” trong phần Hành động.
(a) Nhấp vào “Chuyển sang loại khởi chạy” để thay đổi loại thành Fargate:
(b) Chọn VPC và Subnet từ danh sách thả xuống:
(c) Nhấp vào “Chạy tác vụ” ở dưới cùng bên phải:
👉 Bước 9— Cho phép cổng vào 5000 từ cài đặt Mạng
Bước cuối cùng trước khi chúng ta có thể thấy ứng dụng của mình hoạt động trên địa chỉ IP Công cộng là cho phép cổng 5000 bằng cách tạo quy tắc mới. Để làm điều đó, hãy làm theo các bước sau:
(a) Bấm vào Nhiệm vụ
(b) Nhấp vào Id ENI:
(c) Nhấp vào Nhóm bảo mật
(d) Nhấp vào “Chỉnh sửa quy tắc gửi đến”
(e) Thêm quy tắc TCP tùy chỉnh của cổng 5000
👉 Bước 10 - Xem ứng dụng đang hoạt động
Sử dụng địa chỉ IP công cộng với cổng 5000 để truy cập ứng dụng.
Lưu ý: Vào thời điểm câu chuyện này được xuất bản, ứng dụng sẽ bị xóa khỏi địa chỉ công cộng để hạn chế mức tiêu thụ tài nguyên.
PyCaret 2.0.0 sắp ra mắt!
Chúng tôi đã nhận được sự ủng hộ và phản hồi rất lớn từ cộng đồng. Chúng tôi đang tích cực làm việc để cải thiện PyCaret và chuẩn bị cho phiên bản tiếp theo. PyCaret 2.0.0 sẽ lớn hơn và tốt hơn. Nếu bạn muốn chia sẻ phản hồi của mình và giúp chúng tôi cải thiện hơn nữa, bạn có thể điền vào mẫu này trên trang web hoặc để lại nhận xét trên trang web của chúng tôi GitHub or LinkedIn .
Thực hiện theo chúng tôi LinkedIn và đăng ký của chúng tôi YouTube kênh để tìm hiểu thêm về PyCaret.
Bạn muốn tìm hiểu về một mô-đun cụ thể?
Kể từ phiên bản 1.0.0 đầu tiên, PyCaret có sẵn các mô-đun sau để sử dụng. Nhấp vào các liên kết bên dưới để xem tài liệu và ví dụ hoạt động bằng Python.
- phân loại
- Hồi quy
- Clustering
- Phát hiện bất thường
- Xử lý ngôn ngữ tự nhiên
- Hiệp hội khai thác quy tắc
Xem thêm:
Hướng dẫn bắt đầu sử dụng PyCaret trong Notebook:
- Clustering
- Phát hiện bất thường
- Xử lý ngôn ngữ tự nhiên
- Hiệp hội khai thác quy tắc
- Hồi quy
- phân loại
Bạn có muốn đóng góp không?
PyCaret là một dự án nguồn mở. Mọi người đều được chào đón đóng góp. Nếu bạn muốn đóng góp, xin vui lòng làm việc trên vấn đề mở. Yêu cầu kéo được chấp nhận với các bài kiểm tra đơn vị trên nhánh dev-1.0.1.
Hãy cho chúng tôi ⭐️ trên Repo GitHub nếu bạn thích PyCaret.
Trung bình: https://medium.com/@moez_62905/
LinkedIn: https://www.linkedin.com/in/profile-moez/
Twitter: https://twitter.com/moezpycaretorg1
Tiểu sử: Moez Ali là Nhà khoa học dữ liệu và là Người sáng lập & Tác giả của PyCaret.
Nguyên. Đăng lại với sự cho phép.
Liên quan:
Câu chuyện hàng đầu trong 30 ngày qua
Nguồn: https://www.kdnuggets.com/2020/07/deploy-machine-learning-pipeline-aws-fargate.html
