हैड्स-ऑन लैब — DP-100 Microsoft Azure Data Scientist Associate

अवलोकन

पूर्व-आवश्यकताएं

चरण

1. 1.प्रदाता, संसाधन समूह, नामकरण

   मानक एज़ूर ओपनर। एज़ूर एमएल वर्कस्पेस क्षेत्रीय होते हैं — यदि आप लैब से आगे बढ़ रहे हैं, तो व्यापक GPU SKU उपलब्धता वाला क्षेत्र चुनें (eastus, westus, westeurope सुरक्षित विकल्प हैं)।

   कॉपी

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       azurerm = { source = "hashicorp/azurerm", version = "~> 4.0" }
       random  = { source = "hashicorp/random",  version = "~> 3.6" }
     }
   }
   
   provider "azurerm" {
     features {
       key_vault {
         purge_soft_delete_on_destroy = true
       }
     }
   }
   
   resource "random_id" "suffix" {
     byte_length = 3
   }
   
   data "azurerm_client_config" "current" {}
   
   locals {
     tags = {
       Project   = "certlabpro-dp-100"
       ManagedBy = "terraform"
     }
   }
   
   resource "azurerm_resource_group" "main" {
     name     = "certlabpro-dp-100-rg"
     location = "eastus"
     tags     = local.tags
   }

2. 2.तीन एज़ूर एमएल वर्कस्पेस निर्भरताओं का प्रावधान करें

   प्रोविज़न:

   • Azure Storage
   • Azure Key Vault
   • Azure Application Insights

   एज़ूर एमएल वर्कस्पेस को संलग्न करने के लिए तीन पूर्व-मौजूदा संसाधनों की आवश्यकता होती है: एक स्टोरेज अकाउंट (डेटासेट, मॉडल, लॉग के लिए), एक की वॉल्ट (क्रेडेंशियल के लिए), और एक एप्लीकेशन इनसाइट्स इंस्टेंस (रन टेलीमेट्री के लिए)। DP-100 इस तिकड़ी का बार-बार परीक्षण करता है — "मैं वर्कस्पेस क्यों नहीं बना पा रहा हूँ?" लगभग हमेशा इनमें से एक के लापता होने के कारण होता है।

   यहां स्टोरेज अकाउंट को मानक सुरक्षित डिफ़ॉल्ट मिलते हैं; की वॉल्ट RBAC प्रमाणीकरण (आधुनिक डिफ़ॉल्ट) का उपयोग करता है।

   कॉपी

   resource "azurerm_storage_account" "ml" {
     name                            = "dp100ml${random_id.suffix.hex}"
     resource_group_name             = azurerm_resource_group.main.name
     location                        = azurerm_resource_group.main.location
     account_tier                    = "Standard"
     account_replication_type        = "LRS"
     account_kind                    = "StorageV2"
     https_traffic_only_enabled      = true
     min_tls_version                 = "TLS1_2"
     allow_nested_items_to_be_public = false
   
     tags = local.tags
   }
   
   resource "azurerm_key_vault" "ml" {
     name                       = "kv-dp100-${random_id.suffix.hex}"
     resource_group_name        = azurerm_resource_group.main.name
     location                   = azurerm_resource_group.main.location
     tenant_id                  = data.azurerm_client_config.current.tenant_id
     sku_name                   = "standard"
     enable_rbac_authorization  = true
     soft_delete_retention_days = 7
   
     tags = local.tags
   }
   
   resource "azurerm_application_insights" "ml" {
     name                = "appi-dp100-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     application_type    = "web"
   
     tags = local.tags
   }

3. 3.एज़ूर एमएल वर्कस्पेस स्वयं बनाएँ

   प्रोविज़न:

   • Azure Machine Learning

   वर्कस्पेस तीनों निर्भरताओं को एक साथ जोड़ता है और एक सिस्टम-असाइन की गई प्रबंधित पहचान प्राप्त करता है जिसका उपयोग डाउनस्ट्रीम कंप्यूट लक्ष्य, डेटासेट और एंडपॉइंट निर्भरताओं से पढ़ने के लिए करेंगे। DP-100 का एमएल के लिए एज़ूर संसाधनों को प्रबंधित करें डोमेन इसी सटीक आकार का परीक्षण करता है — वर्कस्पेस + पहचान + भूमिका असाइनमेंट।

   हम लैब को सरल रखने के लिए public_network_access_enabled = true सेट करते हैं; उत्पादन वर्कस्पेस आमतौर पर निजी एंडपॉइंट का उपयोग करते हैं (DP-100 एक मशीन-लर्निंग समाधान डिज़ाइन करें और तैयार करें डोमेन निजी-लिंक वेरिएंट का परीक्षण करता है)।

   कॉपी

   resource "azurerm_machine_learning_workspace" "main" {
     name                          = "mlw-dp100-${random_id.suffix.hex}"
     resource_group_name           = azurerm_resource_group.main.name
     location                      = azurerm_resource_group.main.location
     application_insights_id       = azurerm_application_insights.ml.id
     key_vault_id                  = azurerm_key_vault.ml.id
     storage_account_id            = azurerm_storage_account.ml.id
     public_network_access_enabled = true
   
     identity {
       type = "SystemAssigned"
     }
   
     tags = local.tags
   }

4. 4.एक एज़ूर एमएल कंप्यूट क्लस्टर जोड़ें जो निष्क्रिय होने पर शून्य तक स्केल हो जाता है

   प्रोविज़न:

   • Azure Machine Learning

   प्रशिक्षण कार्यों को कंप्यूट की आवश्यकता होती है। एज़ूर एमएल कंप्यूट क्लस्टर प्रबंधित VM पूल होते हैं जो कार्य कतार की गहराई के आधार पर स्केल होते हैं। min_node_count = 0 लैब/देव वर्कस्पेस के लिए DP-100 लागत-अनुकूलन की अनिवार्य सेटिंग है — जब कोई कार्य कतारबद्ध नहीं होता है, तो क्लस्टर शून्य नोड्स तक स्केल हो जाता है और $0 बिल करता है (केवल मेटाडेटा)।

   Standard_DS3_v2 (4 vCPU, 14 GB RAM, $0.30/घंटा) विशिष्ट लैब डिफ़ॉल्ट है — sklearn या छोटे PyTorch प्रशिक्षण कार्यों को चलाने के लिए पर्याप्त बड़ा, सस्ता होने के लिए पर्याप्त छोटा। उत्पादन प्रशिक्षण क्लस्टर GPU SKU (Standard_NC6s_v3 परिवार) का उपयोग करते हैं।

   scale_down_nodes_after_idle_duration = "PT15M" (15 मिनट के लिए ISO 8601 अवधि) आवर्ती DP-100 लागत प्रश्न है: इसे बहुत लंबा सेट करने से महंगे नोड चलते रहते हैं; बहुत कम होने से थ्रैश होता है। 15 मिनट प्रलेखित एज़ूर डिफ़ॉल्ट है।

   कॉपी

   resource "azurerm_machine_learning_compute_cluster" "main" {
     name                          = "cpu-cluster"
     location                      = azurerm_resource_group.main.location
     vm_priority                   = "Dedicated"
     vm_size                       = "Standard_DS3_v2"
     machine_learning_workspace_id = azurerm_machine_learning_workspace.main.id
   
     scale_settings {
       min_node_count                       = 0
       max_node_count                       = 2
       scale_down_nodes_after_idle_duration = "PT15M"
     }
   
     identity {
       type = "SystemAssigned"
     }
   
     tags = local.tags
   }

क्लीनअप (Cleanup)