हैड्स-ऑन लैब — MLA-C01 AWS Certified Machine Learning Engineer Associate

अवलोकन

पूर्व-आवश्यकताएं

चरण

1. 1.हमारे Terraform संस्करण और AWS क्षेत्र का चयन करें

   मानक शुरुआत। SageMaker क्षेत्रीय है, और अधिकांश नई SageMaker सुविधाएँ (Pipelines, Model Cards, JumpStart) पहले us-east-1 और us-west-2 में आती हैं — सबसे कम आश्चर्य के लिए उनमें से एक चुनें।

   कॉपी

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       aws = {
         source  = "hashicorp/aws"
         version = "~> 5.60"
       }
     }
   }
   
   provider "aws" {
     region = "us-east-1"
   
     default_tags {
       tags = {
         Project   = "certlabpro-mla-c01"
         ManagedBy = "terraform"
       }
     }
   }

2. 2.SageMaker को प्रशिक्षण डेटा और मॉडल कलाकृतियों के लिए एक ही बकेट दें

   प्रोविज़न:

   • Amazon S3

   प्रत्येक SageMaker प्रशिक्षण कार्य S3 से इनपुट डेटा पढ़ता है और अपनी मॉडल कलाकृति को वापस S3 में लिखता है — यह SageMaker द्वारा उजागर किया गया स्टोरेज इंटरफ़ेस है। हम एक फोल्डर कन्वेंशन (training-data/, model-artifacts/) के साथ एक बकेट बनाते हैं जो MLA-C01 संदर्भ वास्तुकला को दर्शाता है।

   किसी भी ML डेटा स्टोर के लिए रेस्ट पर एन्क्रिप्शन गैर-परक्राम्य है — परीक्षा इसे Security, Compliance, and Governance for ML Solutions के तहत स्पष्ट रूप से परीक्षण करती है। हम यहां सरलता के लिए AES256 का उपयोग करते हैं; उत्पादन में, एक ग्राहक-प्रबंधित KMS कुंजी आपको अधिक बारीक ऑडिट ट्रेल देती है।

   कॉपी

   resource "aws_s3_bucket" "ml" {
     bucket_prefix = "certlabpro-mla-c01-"
   }
   
   resource "aws_s3_bucket_public_access_block" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     block_public_acls       = true
     block_public_policy     = true
     ignore_public_acls      = true
     restrict_public_buckets = true
   }
   
   resource "aws_s3_bucket_server_side_encryption_configuration" "ml" {
     bucket = aws_s3_bucket.ml.id
   
     rule {
       apply_server_side_encryption_by_default {
         sse_algorithm = "AES256"
       }
     }
   }
   
   resource "aws_s3_bucket_versioning" "ml" {
     bucket = aws_s3_bucket.ml.id
     versioning_configuration {
       status = "Enabled"
     }
   }

3. 3.SageMaker को पर्याप्त पहुँच के साथ एक पहचान मानने दें

   प्रोविज़न:

   • AWS IAM

   SageMaker प्रशिक्षण कार्य, एंडपॉइंट और पाइपलाइन सभी एक IAM भूमिका के तहत निष्पादित होते हैं। हम एक विश्वास नीति के साथ एक भूमिका बनाते हैं जो sagemaker.amazonaws.com का नाम देती है और इसकी अनुमतियों को ठीक उसी तक सीमित करती है जिसकी एक ML कार्यभार को आवश्यकता होती है: प्रशिक्षण-डेटा उपसर्ग से पढ़ना, मॉडल-कलाकृति उपसर्ग पर लिखना, और CloudWatch को लॉग उत्सर्जित करना। परीक्षा इस न्यूनतम-विशेषाधिकार आकार का बार-बार परीक्षण करती है।

   लैब के लिए हम AWS-प्रबंधित AmazonSageMakerFullAccess नीति को ऊपर से जोड़ते हैं, क्योंकि हर SageMaker कार्रवाई को हाथ से कवर करना सैकड़ों पंक्तियों का है और MLA-C01 इसका परीक्षण नहीं कर रहा है। उत्पादन में आप इसे संकुचित करेंगे — यह एक अलग सख्त अभ्यास है।

   कॉपी

   resource "aws_iam_role" "sagemaker_exec" {
     name = "certlabpro-mla-c01-sagemaker-exec"
   
     assume_role_policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "sagemaker.amazonaws.com" }
         Action    = "sts:AssumeRole"
       }]
     })
   }
   
   resource "aws_iam_role_policy_attachment" "sagemaker_full" {
     role       = aws_iam_role.sagemaker_exec.name
     policy_arn = "arn:aws:iam::aws:policy/AmazonSageMakerFullAccess"
   }
   
   resource "aws_iam_role_policy" "sagemaker_lab_bucket" {
     name = "lab-bucket-read-write"
     role = aws_iam_role.sagemaker_exec.id
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [
         {
           Effect   = "Allow"
           Action   = ["s3:GetObject", "s3:ListBucket"]
           Resource = [aws_s3_bucket.ml.arn, "${aws_s3_bucket.ml.arn}/training-data/*"]
         },
         {
           Effect   = "Allow"
           Action   = "s3:PutObject"
           Resource = "${aws_s3_bucket.ml.arn}/model-artifacts/*"
         },
       ]
     })
   }

4. 4.मॉडल संस्करणों को सूचीबद्ध करने के लिए एक SageMaker मॉडल पैकेज समूह पंजीकृत करें

   प्रोविज़न:

   • Amazon SageMaker

   एक मॉडल पैकेज समूह SageMaker की मॉडल रजिस्ट्री है — एक ही मॉडल के कई संस्करणों के लिए एक नामित कंटेनर, प्रत्येक अपनी स्थिति के साथ (PendingManualApproval, Approved, Rejected)। MLA-C01 द्वारा परीक्षण की गई हर MLOps कहानी इस वस्तु से होकर गुजरती है: प्रशिक्षण पाइपलाइन एक नया संस्करण पंजीकृत करती है → MLOps इंजीनियर समीक्षा करता है → स्थिति Approved में बदल जाती है → CI/CD पाइपलाइन परिवर्तन को उठाती है और नए मॉडल को एंडपॉइंट पर रोल आउट करती है।

   समूह का स्वयं कोई खर्च नहीं होता — यह मेटाडेटा है। एक बार जब यह मौजूद होता है, तो प्रशिक्षण कार्य और पाइपलाइन इसके खिलाफ RegisterModel को कॉल कर सकते हैं और SageMaker स्वचालित रूप से वंशावली को ट्रैक करता है। हम उस नींव को रख रहे हैं जिस पर स्टेप 5 में EventBridge नियम प्रतिक्रिया करेगा।

   कॉपी

   resource "aws_sagemaker_model_package_group" "main" {
     model_package_group_name        = "certlabpro-mla-c01-models"
     model_package_group_description = "Lab-only model registry for the MLA-C01 walkthrough."
   }

5. 5.जब कोई मॉडल संस्करण अनुमोदित हो जाता है तो EventBridge को प्रतिक्रिया देने के लिए तार करें

   प्रोविज़न:

   • Amazon EventBridge
   • AWS IAM

   प्रत्येक SageMaker मॉडल रजिस्ट्री कार्रवाई एक EventBridge इवेंट उत्सर्जित करती है — पंजीकरण, स्थिति परिवर्तन, विलोपन। MLA-C01 Deployment and Orchestration डोमेन इस सटीक पैटर्न का परीक्षण करता है: मॉडल अनुमोदन को अगले-चरण के स्वचालन (स्टेजिंग में डिप्लॉय करना, इंटीग्रेशन टेस्ट चलाना, ऑन-कॉल पेज करना) को कंसोल में बटन दबाने वाले मानव के बिना शुरू करना चाहिए।

   हम एक EventBridge नियम बनाते हैं जो हमारे विशिष्ट मॉडल पैकेज समूह के लिए Approved स्थिति संक्रमणों से मेल खाता है, और डाउनस्ट्रीम प्लेसहोल्डर के रूप में एक SNS विषय को लक्षित करता है — उत्पादन में आप एक स्टेप फंक्शन स्टेट मशीन, एक लैम्डा, या एक कोडपाइपलाइन पाइपलाइन पर इंगित करेंगे। संरचना वही रहती है; केवल लक्ष्य ARN बदलता है।

   इस अंतिम भाग के स्थापित होने के साथ, कंट्रोल-प्लेन श्रृंखला पूरी हो जाती है: एक प्रशिक्षण कार्य (डेटा-प्लेन, यहां प्रावधानित नहीं) स्टेप 2 से अपनी कलाकृति को S3 में लिखता है, इसे करने के लिए स्टेप 3 से भूमिका ग्रहण करता है, स्टेप 4 से मॉडल पैकेज समूह में एक नया संस्करण पंजीकृत करता है, और कोई भी अनुमोदन स्टेप 5 से EventBridge नियम के माध्यम से डाउनस्ट्रीम स्वचालन को ट्रिगर करता है। एक प्रशिक्षण कार्य को प्लग इन करें और लूप अपने आप चलता है।

   कॉपी

   resource "aws_sns_topic" "model_approvals" {
     name = "certlabpro-mla-c01-model-approvals"
   }
   
   resource "aws_cloudwatch_event_rule" "model_approved" {
     name        = "certlabpro-mla-c01-model-approved"
     description = "Fires when a model version in our registry is approved."
   
     event_pattern = jsonencode({
       source        = ["aws.sagemaker"]
       "detail-type" = ["SageMaker Model Package State Change"]
       detail = {
         ModelPackageGroupName = [aws_sagemaker_model_package_group.main.model_package_group_name]
         ModelApprovalStatus   = ["Approved"]
       }
     })
   }
   
   resource "aws_cloudwatch_event_target" "notify_sns" {
     rule = aws_cloudwatch_event_rule.model_approved.name
     arn  = aws_sns_topic.model_approvals.arn
   }
   
   resource "aws_sns_topic_policy" "allow_events" {
     arn = aws_sns_topic.model_approvals.arn
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "events.amazonaws.com" }
         Action    = "sns:Publish"
         Resource  = aws_sns_topic.model_approvals.arn
       }]
     })
   }

क्लीनअप (Cleanup)