动手实验室 — MLA-C01 AWS Certified Machine Learning Engineer Associate

概述

先决条件

步骤

1. 1.选择我们的 Terraform 版本和 AWS 区域

   标准开场。SageMaker 是区域性的，大多数较新的 SageMaker 功能（Pipelines、Model Cards、JumpStart）首先在 us-east-1 和 us-west-2 区域推出——选择其中一个以减少意外情况。

   复制

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       aws = {
         source  = "hashicorp/aws"
         version = "~> 5.60"
       }
     }
   }
   
   provider "aws" {
     region = "us-east-1"
   
     default_tags {
       tags = {
         Project   = "certlabpro-mla-c01"
         ManagedBy = "terraform"
       }
     }
   }

2. 2.为 SageMaker 提供一个用于训练数据和模型工件的单一存储桶

   配置服务：

   • Amazon S3

   每个 SageMaker 训练作业都从 S3 读取输入数据，并将其模型工件写回 S3——这是 SageMaker 暴露的存储接口。我们创建一个存储桶，其文件夹约定（training-data/、model-artifacts/）与 MLA-C01 参考架构相对应。

   对于任何机器学习数据存储，静态加密是不可协商的——考试在“机器学习解决方案的安全、合规和治理”部分明确测试了这一点。为简化起见，我们在此使用 AES256；在生产环境中，客户管理的 KMS 密钥可提供更精细的审计跟踪。

   复制

   resource "aws_s3_bucket" "ml" {
     bucket_prefix = "certlabpro-mla-c01-"
   }
   
   resource "aws_s3_bucket_public_access_block" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     block_public_acls       = true
     block_public_policy     = true
     ignore_public_acls      = true
     restrict_public_buckets = true
   }
   
   resource "aws_s3_bucket_server_side_encryption_configuration" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     rule {
       apply_server_side_encryption_by_default {
         sse_algorithm = "AES256"
       }
     }
   }
   
   resource "aws_s3_bucket_versioning" "ml" {
     bucket = aws_s3_bucket.ml.id
     versioning_configuration {
       status = "Enabled"
     }
   }

3. 3.让 SageMaker 承担一个具有足够权限的身份

   配置服务：

   • AWS IAM

   SageMaker 训练作业、端点和 Pipelines 都以 IAM 角色身份执行。我们创建一个具有信任策略的角色，该策略指定 sagemaker.amazonaws.com，并将其权限范围精确限定为机器学习工作负载所需的权限：从训练数据前缀读取、写入模型工件前缀，以及将日志发送到 CloudWatch。考试反复测试这种最小权限模式。

   在实验中，我们额外附加了 AWS 托管的 AmazonSageMakerFullAccess 策略，因为手动覆盖所有 SageMaker 操作将涉及数百行代码，这不是 MLA-C01 考试的重点。在生产环境中，您会收窄此权限——这是一个单独的加固练习。

   复制

   resource "aws_iam_role" "sagemaker_exec" {
     name = "certlabpro-mla-c01-sagemaker-exec"
   
     assume_role_policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "sagemaker.amazonaws.com" }
         Action    = "sts:AssumeRole"
       }]
     })
   }
   
   resource "aws_iam_role_policy_attachment" "sagemaker_full" {
     role       = aws_iam_role.sagemaker_exec.name
     policy_arn = "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess"
   }
   
   resource "aws_iam_role_policy" "sagemaker_lab_bucket" {
     name = "lab-bucket-read-write"
     role = aws_iam_role.sagemaker_exec.id
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [
         {
           Effect   = "Allow"
           Action   = ["s3:GetObject", "s3:ListBucket"]
           Resource = [aws_s3_bucket.ml.arn, "${aws_s3_bucket.ml.arn}/training-data/*"]
         },
         {
           Effect   = "Allow"
           Action   = "s3:PutObject"
           Resource = "${aws_s3_bucket.ml.arn}/model-artifacts/*"
         },
       ]
     })
   }

4. 4.注册 SageMaker 模型包组以编目模型版本

   配置服务：

   • Amazon SageMaker

   一个 Model Package Group 是 SageMaker 的模型注册表——一个用于同一模型多个版本的命名容器，每个版本都有自己的状态（PendingManualApproval、Approved、Rejected）。MLA-C01 考试中涉及的每个 MLOps 场景都通过此对象进行：训练管道注册一个新版本 → MLOps 工程师审查 → 状态变为 Approved → CI/CD 管道检测到更改并将新模型部署到端点。

   该组本身不产生任何费用——它只是元数据。一旦它存在，训练作业和 Pipelines 就可以对其调用 RegisterModel，SageMaker 会自动跟踪血缘。我们正在为步骤 5 中的 EventBridge 规则奠定基础。

   复制

   resource "aws_sagemaker_model_package_group" "main" {
     model_package_group_name        = "certlabpro-mla-c01-models"
     model_package_group_description = "Lab-only model registry for the MLA-C01 walkthrough."
   }

5. 5.配置 EventBridge 以响应模型版本批准事件

   配置服务：

   • Amazon EventBridge
   • AWS IAM

   每个 SageMaker 模型注册表操作都会发出一个 EventBridge 事件——注册、状态更改、删除。MLA-C01 的“部署和编排”领域测试的就是这种模式：模型批准应该触发下一步自动化（部署到预演环境、运行集成测试、呼叫待命人员），而无需人工在控制台中点击按钮。

   我们创建了一个 EventBridge 规则，该规则匹配我们特定模型包组的 Approved 状态转换，并将 SNS 主题作为下游的占位符——在生产环境中，您会指向一个 Step Functions 状态机、一个 Lambda 或一个 CodePipeline 管道。结构保持不变；只有目标 ARN 会改变。

   有了这最后一部分，控制平面链就完整了：一个训练作业（数据平面，此处未配置）将其工件写入步骤 2 中的 S3，假定步骤 3 中的角色来执行此操作，将新版本注册到步骤 4 中的模型包组中，并且任何批准都会通过步骤 5 中的 EventBridge 规则触发下游自动化。连接一个训练作业，循环就会自行运行。

   复制

   resource "aws_sns_topic" "model_approvals" {
     name = "certlabpro-mla-c01-model-approvals"
   }
   
   resource "aws_cloudwatch_event_rule" "model_approved" {
     name        = "certlabpro-mla-c01-model-approved"
     description = "Fires when a model version in our registry is approved."
   
     event_pattern = jsonencode({
       source        = ["aws.sagemaker"]
       "detail-type" = ["SageMaker Model Package State Change"]
       detail = {
         ModelPackageGroupName = [aws_sagemaker_model_package_group.main.model_package_group_name]
         ModelApprovalStatus   = ["Approved"]
       }
     })
   }
   
   resource "aws_cloudwatch_event_target" "notify_sns" {
     rule = aws_cloudwatch_event_rule.model_approved.name
     arn  = aws_sns_topic.model_approvals.arn
   }
   
   resource "aws_sns_topic_policy" "allow_events" {
     arn = aws_sns_topic.model_approvals.arn
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "events.amazonaws.com" }
         Action    = "sns:Publish"
         Resource  = aws_sns_topic.model_approvals.arn
       }]
     })
   }

清理