מעבדה מעשית — MLA-C01 AWS Certified Machine Learning Engineer Associate

סקירה כללית

דרישות קדם

שלבים

1. 1.בחירת גרסת Terraform ואזור AWS שלנו

   פתיחה סטנדרטית. SageMaker הוא אזורי, ורוב התכונות החדשות יותר של SageMaker (Pipelines, Model Cards, JumpStart) נוחתות תחילה ב-us-east-1 ו-us-west-2 – בחר אחד מהם כדי להימנע מהפתעות.

   העתק

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       aws = {
         source  = "hashicorp/aws"
         version = "~> 5.60"
       }
     }
   }
   
   provider "aws" {
     region = "us-east-1"
   
     default_tags {
       tags = {
         Project   = "certlabpro-mla-c01"
         ManagedBy = "terraform"
       }
     }
   }

2. 2.הקצאת דלי יחיד ל-SageMaker עבור נתוני אימון וחפצי מודל

   משאבים:

   • Amazon S3

   כל משימת אימון של SageMaker קוראת נתוני קלט מ-S3 וכותבת את חפץ המודל שלה בחזרה ל-S3 – זוהי ממשק האחסון ש-SageMaker חושף. אנו יוצרים דלי אחד עם מוסכמת תיקיות (training-data/, model-artifacts/) המשקפת את ארכיטקטורת הייחוס של MLA-C01.

   הצפנה במנוחה אינה ניתנת למשא ומתן עבור כל מאגר נתוני ML – הבחינה בודקת זאת במפורש תחת אבטחה, ציות וממשל עבור פתרונות ML. אנו משתמשים כאן ב-AES256 לפשטות; בייצור, מפתח KMS מנוהל על ידי לקוח מספק לך שביל ביקורת מפורט יותר.

   העתק

   resource "aws_s3_bucket" "ml" {
     bucket_prefix = "certlabpro-mla-c01-"
   }
   
   resource "aws_s3_bucket_public_access_block" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     block_public_acls       = true
     block_public_policy     = true
     ignore_public_acls      = true
     restrict_public_buckets = true
   }
   
   resource "aws_s3_bucket_server_side_encryption_configuration" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     rule {
       apply_server_side_encryption_by_default {
         sse_algorithm = "AES256"
       }
     }
   }
   
   resource "aws_s3_bucket_versioning" "ml" {
     bucket = aws_s3_bucket.ml.id
     versioning_configuration {
       status = "Enabled"
     }
   }

3. 3.אפשר ל-SageMaker לקבל זהות עם הרשאה מספקת בלבד

   משאבים:

   • AWS IAM

   משימות אימון, נקודות קצה ו-Pipelines של SageMaker מבוצעות כולן תחת תפקיד IAM. אנו יוצרים תפקיד אחד עם מדיניות אמון המציינת את sagemaker.amazonaws.com ומגבילים את הרשאותיו בדיוק למה שנדרש לעומס עבודה של למידת מכונה: קריאה מקידומת נתוני האימון, כתיבה לקידומת חפצי המודל, ושליחת יומנים ל-CloudWatch. הבחינה בודקת שוב ושוב את צורת ההרשאה המינימלית הזו.

   עבור המעבדה אנו מצרפים את מדיניות AmazonSageMakerFullAccess המנוהלת על ידי AWS בנוסף, מכיוון שכיסוי כל פעולת SageMaker ידנית הוא מאות שורות וזה לא מה שבחינת MLA-C01 בודקת. בייצור היית מצמצם זאת – זהו תרגיל אבטחה נפרד.

   העתק

   resource "aws_iam_role" "sagemaker_exec" {
     name = "certlabpro-mla-c01-sagemaker-exec"
   
     assume_role_policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "sagemaker.amazonaws.com" }
         Action    = "sts:AssumeRole"
       }]
     })
   }
   
   resource "aws_iam_role_policy_attachment" "sagemaker_full" {
     role       = aws_iam_role.sagemaker_exec.name
     policy_arn = "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess"
   }
   
   resource "aws_iam_role_policy" "sagemaker_lab_bucket" {
     name = "lab-bucket-read-write"
     role = aws_iam_role.sagemaker_exec.id
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [
         {
           Effect   = "Allow"
           Action   = ["s3:GetObject", "s3:ListBucket"]
           Resource = [aws_s3_bucket.ml.arn, "${aws_s3_bucket.ml.arn}/training-data/*"]
         },
         {
           Effect   = "Allow"
           Action   = "s3:PutObject"
           Resource = "${aws_s3_bucket.ml.arn}/model-artifacts/*"
         },
       ]
     })
   }

4. 4.רשום קבוצת חבילות מודלים של SageMaker כדי לקטלג גרסאות מודלים

   משאבים:

   • Amazon SageMaker

   קבוצת חבילות מודלים היא רישום המודלים של SageMaker – מיכל בעל שם עבור מספר גרסאות של אותו מודל, כל אחת עם סטטוס משלה (PendingManualApproval, Approved, Rejected). כל סיפור MLOps שבחינת MLA-C01 בודקת עובר דרך אובייקט זה: צינור אימון רושם גרסה חדשה ← מהנדס MLOps בודק ← הסטטוס משתנה ל-Approved ← צינור CI/CD קולט את השינוי ופורס את המודל החדש לנקודת הקצה.

   הקבוצה עצמה אינה עולה כלום – היא מטא נתונים. ברגע שהיא קיימת, משימות אימון ו-Pipelines יכולות לקרוא ל-RegisterModel כנגדה ו-SageMaker עוקב אחר השושלת באופן אוטומטי. אנו מניחים את היסודות לכלל EventBridge בשלב 5 שיגיב אליו.

   העתק

   resource "aws_sagemaker_model_package_group" "main" {
     model_package_group_name        = "certlabpro-mla-c01-models"
     model_package_group_description = "Lab-only model registry for the MLA-C01 walkthrough."
   }

5. 5.חבר את EventBridge להגיב כאשר גרסת מודל מאושרת

   משאבים:

   • Amazon EventBridge
   • AWS IAM

   כל פעולת רישום מודל של SageMaker משגרת אירוע EventBridge – רישום, שינויי סטטוס, מחיקות. תחום פריסה ותזמור של MLA-C01 בודק דפוס מדויק זה: אישור מודל צריך להפעיל את האוטומציה של השלב הבא (פריסה לסביבת ביניים, הפעלת בדיקות אינטגרציה, זימון כונן) ללא מעורבות אנושית בלחיצת כפתורים בקונסולה.

   אנו יוצרים כלל EventBridge התואם מעברי סטטוס Approved עבור קבוצת חבילות המודלים הספציפית שלנו, וממקדים נושא SNS כמקום שמור במורד הזרם – בייצור היית מכוון למכונת מצבים של Step Functions, לפונקציית Lambda, או לצינור CodePipeline. המבנה נשאר זהה; רק ה-ARN של היעד משתנה.

   עם החלק הסופי הזה במקום, שרשרת מישור הבקרה הושלמה: משימת אימון (מישור נתונים, לא מסופק כאן) כותבת את חפץ המודל שלה ל-S3 משלב 2, מקבלת את התפקיד משלב 3 כדי לבצע זאת, רושמת גרסה חדשה בקבוצת חבילות המודלים משלב 4, וכל אישור מפעיל את האוטומציה במורד הזרם באמצעות כלל EventBridge משלב 5. חבר משימת אימון והלולאה תפעל מעצמה.

   העתק

   resource "aws_sns_topic" "model_approvals" {
     name = "certlabpro-mla-c01-model-approvals"
   }
   
   resource "aws_cloudwatch_event_rule" "model_approved" {
     name        = "certlabpro-mla-c01-model-approved"
     description = "Fires when a model version in our registry is approved."
   
     event_pattern = jsonencode({
       source        = ["aws.sagemaker"]
       "detail-type" = ["SageMaker Model Package State Change"]
       detail = {
         ModelPackageGroupName = [aws_sagemaker_model_package_group.main.model_package_group_name]
         ModelApprovalStatus   = ["Approved"]
       }
     })
   }
   
   resource "aws_cloudwatch_event_target" "notify_sns" {
     rule = aws_cloudwatch_event_rule.model_approved.name
     arn  = aws_sns_topic.model_approvals.arn
   }
   
   resource "aws_sns_topic_policy" "allow_events" {
     arn = aws_sns_topic.model_approvals.arn
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "events.amazonaws.com" }
         Action    = "sns:Publish"
         Resource  = aws_sns_topic.model_approvals.arn
       }]
     })
   }

ניקוי משאבים