圖片作者
如今，許多公司希望將人工智慧納入其工作流程，特別是透過微調大型語言模型並將其部署到生產中。由於這種需求，MLOps 工程變得越來越重要。公司不再只僱用資料科學家或機器學習工程師，而是尋找能夠自動化和簡化雲端培訓、評估、版本控制、部署和監控模型流程的人員。
在本初學者指南中，我們將重點介紹掌握 MLOps 工程的七個基本步驟，包括設定環境、實驗追蹤和版本控制、編排、持續整合/持續交付 (CI/CD)、模型服務和部署以及模型監控。最後一步，我們將使用各種 MLOps 工具來建立完全自動化的端到端機器學習管道。
為了訓練和評估機器學習模型，您首先需要設定本地和雲端環境。這涉及使用 Docker 將機器學習管道、模型和框架容器化。之後，您將學習使用 Kubernetes 來自動化這些容器化應用程式的部署、擴充和管理。
在第一步結束時，您將熟悉您選擇的雲端平台（例如 AWS、Google Cloud 或 Azure），並了解如何使用 Terraform 基礎架構即程式碼自動設定雲端基礎架構。
注意： 您必須對 Docker、Git 有基本的了解，並熟悉命令列工具。但是，如果您有軟體工程背景，您也許可以跳過這一部分。
您將學習使用 MLflow 追蹤機器學習實驗、使用 DVC 進行模型和資料版本控制以及使用 Git 進行程式碼版本控制。 MLflow 可用於記錄參數、輸出檔案、模型管理和伺服器。
這些實踐對於維護有據可查、可審計且可擴展的機器學習工作流程至關重要，最終有助於機器學習專案的成功和效率。
退房 機器學習實驗跟踪的 7 個最佳工具 並選擇最適合您的工作流程的一種。
在第三步驟中，您將學習使用 Apache Airflow 或 Prefect 等編排工具來自動化和排程 ML 工作流程。工作流程包括資料預處理、模型訓練、評估等，確保從資料到部署的無縫高效管道。
這些工具使機器學習流程中的每個步驟都變得模組化，並且可以在不同的專案中重複使用，以節省時間並減少錯誤。
了解 資料編排的 5 種氣流替代方案 使用者友好且具有現代功能。另外，請查看 完美的機器學習工作流程 建構和執行第一個 ML 管道的教程。
將持續整合和持續部署 (CI/CD) 實踐整合到您的 ML 工作流程中。 Jenkins、GitLab CI 和 GitHub Actions 等工具可自動執行 ML 模型的測試和部署，確保有效率且安全地推出變更。您將學習如何整合資料、模型和程式碼的自動化測試，以儘早發現問題並維持高品質標準。
了解如何使用 GitHub Actions 自動執行模型訓練、評估、版本控制和部署，方法如下： 機器學習 CI/CD 初學者指南.
模型服務是在生產環境中有效利用機器學習模型的關鍵方面。透過使用 BentoML、Kubeflow、Ray Serve 或 TFServing 等模型服務框架，您可以有效率地將模型部署為微服務，使其可跨多個應用程式和服務進行存取和擴充。這些框架提供了一種在本地測試模型推理的無縫方法，並為您提供了在生產中安全、高效地部署模型的功能。
了解這個 7 大模型部署與服務工具 頂級公司正在使用它們來簡化和自動化模型部署流程。
在第六步中，您將學習如何實施監控來追蹤模型的效能並檢測資料隨時間的任何變化。您可以使用 Evidently、Fiddler 等工具，甚至編寫自訂程式碼來進行即時監控和警報。透過使用監控框架，您可以建立完全自動化的機器學習管道，其中模型效能的任何顯著下降都會觸發 CI/CD 管道。這將導致在最新資料集上重新訓練模型，並最終將最新模型部署到生產中。
如果您想了解用於建置、維護和執行端對端 ML 工作流程的重要工具，您應該查看以下清單： 25 年您需要了解的 2024 個 MLOps 工具.
在本課程的最後一步，您將有機會使用迄今為止學到的所有內容來建立端到端機器學習專案。該項目將涉及以下步驟：
- 選擇您感興趣的資料集。
- 在所選資料集上訓練模型並追蹤您的實驗。
- 建立模型訓練管道並使用 GitHub Actions 將其自動化。
- 以批次、Web 服務或串流部署模型。
- 監控模型的效能並遵循最佳實踐。
為頁面添加書籤： 掌握 MLOps 的 10 個 GitHub 儲存庫。使用它來了解最新的工具、指南、教程、專案和免費課程，以了解有關 MLOps 的一切。
您可以報名參加 MLOps 工程 課程詳細介紹了所有七個步驟，可幫助您獲得在生產中訓練、追蹤、部署和監控機器學習模型所需的經驗。
在本指南中，我們了解了您成為專業 MLOps 工程師的七個必要步驟。我們了解了工程師自動化和簡化雲端培訓、評估、版本控制、部署和監控模型流程所需的工具、概念和流程。
阿比德·阿里·阿萬 (@1abidaliawan）是一位經過認證的資料科學家專業人士，熱愛建立機器學習模型。目前，他專注於內容創作和撰寫有關機器學習和數據科學技術的技術部落格。阿比德擁有技術管理碩士學位和電信工程學士學位。他的願景是使用圖神經網路為患有精神疾病的學生建立人工智慧產品。
