מעבדה מעשית — DP-700 Microsoft Fabric Data Engineer Associate

סקירה כללית

דרישות קדם

שלבים

1. 1.ספק, קבוצת משאבים, מתן שמות

   פתיחה סטנדרטית של Azure.

   העתק

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       azurerm = { source = "hashicorp/azurerm", version = "~> 4.0" }
       random  = { source = "hashicorp/random",  version = "~> 3.6" }
     }
   }
   
   provider "azurerm" {
     features {}
   }
   
   resource "random_id" "suffix" {
     byte_length = 3
   }
   
   data "azurerm_client_config" "current" {}
   
   locals {
     tags = {
       Project   = "certlabpro-dp-700"
       ManagedBy = "terraform"
     }
   }
   
   resource "azurerm_resource_group" "main" {
     name     = "certlabpro-dp-700-rg"
     location = "eastus"
     tags     = local.tags
   }

2. 2.הקצאת מרחב שמות של Event Hubs + רכזת כמקור הזרמת הנתונים

   משאבים:

   • Azure Event Hubs

   Event Hubs הוא שירות קליטת האירועים בעל תפוקה גבוהה של Azure — המקור הקנוני להזרמת נתונים ל-Fabric Event Streams. התחום הטמעה וניהול של קליטת נתונים של DP-700 בודק שילוב זה ישירות: אירועים בזמן אמת נוחתים ב-Event Hubs, Fabric Event Streams נרשמים ומנתבים אותם ל-Lakehouse או למסד נתונים KQL, ושאילתות המשך רואות את הנתונים תוך שניות.

   אנו משתמשים בשכבת ה-Basic (הזולה ביותר, יחידת תפוקה אחת) עם שמירה למשך יום אחד. שאלת ה-'Standard vs Premium' במבחן עוסקת בתכונות של לכידה לאחסון (Capture כותב אירועים ל-ADLS באופן אוטומטי) ובשמירה ארוכה יותר — ל-Basic אין תכונות אלו, אך זוהי האפשרות הזולה למעבדה.

   העתק

   resource "azurerm_eventhub_namespace" "main" {
     name                = "ehns-dp700-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     sku                 = "Basic"
     capacity            = 1
   
     tags = local.tags
   }
   
   resource "azurerm_eventhub" "stream" {
     name              = "ingest"
     namespace_id      = azurerm_eventhub_namespace.main.id
     partition_count   = 2
     message_retention = 1
   }

3. 3.הגדרת ארכיטקטורת מדליון ADLS Gen2 עבור ה-Lakehouse

   משאבים:

   • Azure Storage

   ארכיטקטורת המדליון (bronze / silver / gold) היא תבנית מודל הנתונים הייחוסית של DP-700 בתחום הטמעה וניהול פתרון אנליטיקס: נתונים גולמיים שנקלטו ב-bronze/, נקיים ומאומתים ב-silver/, ומסוכמים עסקית ב-gold/. טבלאות Fabric Lakehouse נמצאות מעל מבנה זה בדיוק.

   אנו מקצים חשבון אחסון ADLS Gen2 (מרחב שמות היררכי = מופעל, נדרש עבור טבלאות Delta Lake) עם שלוש שכבות הקונטיינרים. קיצורי דרך של Fabric Lakehouse יכולים להצביע על חשבון אחסון זה ישירות, כך ש-Fabric קורא וכותב כאן ללא העתקת נתונים ל-OneLake.

   העתק

   resource "azurerm_storage_account" "lake" {
     name                            = "dp700lake${random_id.suffix.hex}"
     resource_group_name             = azurerm_resource_group.main.name
     location                        = azurerm_resource_group.main.location
     account_tier                    = "Standard"
     account_replication_type        = "LRS"
     account_kind                    = "StorageV2"
     is_hns_enabled                  = true
   
     https_traffic_only_enabled      = true
     min_tls_version                 = "TLS1_2"
     allow_nested_items_to_be_public = false
   
     tags = local.tags
   }
   
   resource "azurerm_storage_container" "bronze" {
     name                  = "bronze"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }
   
   resource "azurerm_storage_container" "silver" {
     name                  = "silver"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }
   
   resource "azurerm_storage_container" "gold" {
     name                  = "gold"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }

4. 4.הקצאת קיבולת Fabric + יכולת ניטור Log Analytics

   משאבים:

   • Microsoft Fabric
   • Azure Monitor

   אותה פרימיטיב קיבולת Fabric כמו ב-DP-600 — ה-SKU F2 הוא הגודל הקטן ביותר ונוח למפתחים. אולם, הזווית של DP-700 שונה: בעוד ש-DP-600 התמקד בעומסי עבודה של מודלים אנליטיים, DP-700 מתמקד בצד קליטת הנתונים. Eventstreams, Spark notebooks ו-Data Pipelines כולם רצים בתוך קיבולת זו.

   Log Analytics מקבלת את אבחוני קיבולת Fabric (וויסות, משך שאילתה) — התחום תחזוקה ואופטימיזציה של DP-700 נשען על כך לתגובה לאירועים כאשר צינור הזרמת נתונים מתחיל להפיל אירועים.

   עם הקיבולת במקום, תשתית הזרמת הנתונים המלאה של DP-700 מעוצבת: Event Hubs → Fabric Event Stream → טבלת Lakehouse בחשבון האחסון ADLS Gen2. עבודת היישום (יצירת Event Stream, הגדרת ה-Lakehouse, כתיבת טרנספורמציות) מתרחשת בפורטל Fabric.

   העתק

   resource "azurerm_fabric_capacity" "main" {
     name                = "fab-dp700-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
   
     administration_members = [
       data.azurerm_client_config.current.object_id,
     ]
   
     sku {
       name = "F2"
       tier = "Fabric"
     }
   
     tags = local.tags
   }
   
   resource "azurerm_log_analytics_workspace" "main" {
     name                = "log-dp700"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     sku                 = "PerGB2018"
     retention_in_days   = 30
   
     tags = local.tags
   }
   
   resource "azurerm_monitor_diagnostic_setting" "fabric" {
     name                       = "diag"
     target_resource_id         = azurerm_fabric_capacity.main.id
     log_analytics_workspace_id = azurerm_log_analytics_workspace.main.id
   
     metric {
       category = "AllMetrics"
       enabled  = true
     }
   }
   
   resource "azurerm_monitor_diagnostic_setting" "event_hubs" {
     name                       = "diag"
     target_resource_id         = azurerm_eventhub_namespace.main.id
     log_analytics_workspace_id = azurerm_log_analytics_workspace.main.id
   
     enabled_log {
       category_group = "allLogs"
     }
   
     metric {
       category = "AllMetrics"
       enabled  = true
     }
   }

ניקוי משאבים