图片作者
如今，许多公司希望将人工智能纳入其工作流程，特别是通过微调大型语言模型并将其部署到生产中。由于这种需求，MLOps 工程变得越来越重要。公司不再只雇用数据科学家或机器学习工程师，而是寻找能够自动化和简化云中培训、评估、版本控制、部署和监控模型流程的人员。
在本初学者指南中，我们将重点介绍掌握 MLOps 工程的七个基本步骤，包括设置环境、实验跟踪和版本控制、编排、持续集成/持续交付 (CI/CD)、模型服务和部署以及模型监控。最后一步，我们将使用各种 MLOps 工具构建完全自动化的端到端机器学习管道。
为了训练和评估机器学习模型，您首先需要设置本地和云环境。这涉及使用 Docker 将机器学习管道、模型和框架容器化。之后，您将学习使用 Kubernetes 来自动化这些容器化应用程序的部署、扩展和管理。
在第一步结束时，您将熟悉您选择的云平台（例如 AWS、Google Cloud 或 Azure），并了解如何使用 Terraform 基础设施即代码来自动设置云基础设施。
请注意： 您必须对 Docker、Git 有基本的了解，并熟悉命令行工具。但是，如果您有软件工程背景，您也许可以跳过这一部分。
您将学习使用 MLflow 跟踪机器学习实验、使用 DVC 进行模型和数据版本控制以及使用 Git 进行代码版本控制。 MLflow 可用于记录参数、输出文件、模型管理和服务器。
这些实践对于维护有据可查、可审计且可扩展的机器学习工作流程至关重要，最终有助于机器学习项目的成功和效率。
查询 机器学习实验跟踪的 7 个最佳工具 并选择最适合您的工作流程的一种。
在第三步中，您将学习使用 Apache Airflow 或 Prefect 等编排工具来自动化和安排 ML 工作流程。工作流程包括数据预处理、模型训练、评估等，确保从数据到部署的无缝高效管道。
这些工具使机器学习流程中的每个步骤都变得模块化，并且可以在不同的项目中重复使用，以节省时间并减少错误。
了解 数据编排的 5 种气流替代方案 用户友好且具有现代功能。另外，请查看 完美的机器学习工作流程 构建和执行第一个 ML 管道的教程。
将持续集成和持续部署 (CI/CD) 实践集成到您的 ML 工作流程中。 Jenkins、GitLab CI 和 GitHub Actions 等工具可以自动执行 ML 模型的测试和部署，确保高效、安全地推出更改。您将学习如何整合数据、模型和代码的自动化测试，以尽早发现问题并保持高质量标准。
了解如何使用 GitHub Actions 自动执行模型训练、评估、版本控制和部署，方法如下： 机器学习 CI/CD 初学者指南.
模型服务是在生产环境中有效利用机器学习模型的一个关键方面。通过使用 BentoML、Kubeflow、Ray Serve 或 TFServing 等模型服务框架，您可以高效地将模型部署为微服务，使其可跨多个应用程序和服务进行访问和扩展。这些框架提供了一种在本地测试模型推理的无缝方法，并为您提供了在生产中安全、高效地部署模型的功能。
了解 7 大模型部署和服务工具 顶级公司正在使用它们来简化和自动化模型部署过程。
在第六步中，您将学习如何实施监控来跟踪模型的性能并检测数据随时间的变化。您可以使用 Evidently、Fiddler 等工具，甚至编写自定义代码来进行实时监控和警报。通过使用监控框架，您可以构建完全自动化的机器学习管道，其中模型性能的任何显着下降都将触发 CI/CD 管道。这将导致在最新数据集上重新训练模型，并最终将最新模型部署到生产中。
如果您想了解用于构建、维护和执行端到端 ML 工作流程的重要工具，您应该查看以下列表： 25 年您需要了解的 2024 个 MLOps 工具.
在本课程的最后一步，您将有机会使用迄今为止学到的所有内容构建端到端机器学习项目。该项目将涉及以下步骤：
- 选择您感兴趣的数据集。
- 在所选数据集上训练模型并跟踪您的实验。
- 创建模型训练管道并使用 GitHub Actions 将其自动化。
- 以批处理、Web 服务或流式方式部署模型。
- 监控模型的性能并遵循最佳实践。
为页面添加书签： 掌握 MLOps 的 10 个 GitHub 存储库。使用它来了解最新的工具、指南、教程、项目和免费课程，以了解有关 MLOps 的一切。
您可以报名参加 MLOps 工程 课程详细介绍了所有七个步骤，可帮助您获得在生产中训练、跟踪、部署和监控机器学习模型所需的经验。
在本指南中，我们了解了您成为专业 MLOps 工程师的七个必要步骤。我们了解了工程师自动化和简化云中培训、评估、版本控制、部署和监控模型流程所需的工具、概念和流程。
阿比德·阿里·阿万 (@1abidaliawan）是一位经过认证的数据科学家专业人士，热爱构建机器学习模型。目前，他专注于内容创作和撰写有关机器学习和数据科学技术的技术博客。阿比德拥有技术管理硕士学位和电信工程学士学位。他的愿景是使用图神经网络为患有精神疾病的学生构建人工智能产品。
