Laboratorio práctico — DP-700 Microsoft Fabric Data Engineer Associate

Descripción general

Requisitos previos

Pasos

1. 1.Proveedor, Grupo de Recursos, nomenclatura

   Inicio estándar de Azure.

   Copiar

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       azurerm = { source = "hashicorp/azurerm", version = "~> 4.0" }
       random  = { source = "hashicorp/random",  version = "~> 3.6" }
     }
   }
   
   provider "azurerm" {
     features {}
   }
   
   resource "random_id" "suffix" {
     byte_length = 3
   }
   
   data "azurerm_client_config" "current" {}
   
   locals {
     tags = {
       Project   = "certlabpro-dp-700"
       ManagedBy = "terraform"
     }
   }
   
   resource "azurerm_resource_group" "main" {
     name     = "certlabpro-dp-700-rg"
     location = "eastus"
     tags     = local.tags
   }

2. 2.Aprovisionar un espacio de nombres de Event Hubs + un centro de eventos como fuente de streaming

   Aprovisiona:

   • Azure Event Hubs

   Event Hubs es el servicio de ingesta de eventos de alto rendimiento de Azure, la fuente canónica para transmitir datos a Fabric Event Streams. El dominio Implementar y gestionar la ingesta de datos de DP-700 prueba directamente esta combinación: los eventos en tiempo real llegan a Event Hubs, Fabric Event Streams se suscribe y los enruta a una base de datos Lakehouse o KQL, y las consultas posteriores ven los datos en segundos.

   Utilizamos el nivel Básico (el más económico, con una sola unidad de rendimiento) con una retención de 1 día. La pregunta del examen sobre la compensación Estándar vs. Premium trata sobre las características de captura a almacenamiento (Captura escribe eventos en ADLS automáticamente) y una retención más larga; el nivel Básico no las tiene, pero es la opción económica para el laboratorio.

   Copiar

   resource "azurerm_eventhub_namespace" "main" {
     name                = "ehns-dp700-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     sku                 = "Basic"
     capacity            = 1
   
     tags = local.tags
   }
   
   resource "azurerm_eventhub" "stream" {
     name              = "ingest"
     namespace_id      = azurerm_eventhub_namespace.main.id
     partition_count   = 2
     message_retention = 1
   }

3. 3.Configurar la arquitectura de medallón ADLS Gen2 para el lakehouse

   Aprovisiona:

   • Azure Storage

   La arquitectura de medallón (bronce / plata / oro) es el patrón de modelado de datos de referencia de DP-700 Implementar y gestionar una solución analítica: datos brutos ingeridos en bronze/, limpiados y validados en silver/, y agregados para el negocio en gold/. Las tablas de Fabric Lakehouse residen sobre esta misma disposición.

   Provisionamos una cuenta de almacenamiento ADLS Gen2 (espacio de nombres jerárquico = activado, necesario para las tablas Delta Lake) con las tres capas de contenedores. Los accesos directos de Fabric Lakehouse pueden apuntar directamente a esta cuenta de almacenamiento, por lo que Fabric lee/escribe aquí sin copiar datos en OneLake.

   Copiar

   resource "azurerm_storage_account" "lake" {
     name                            = "dp700lake${random_id.suffix.hex}"
     resource_group_name             = azurerm_resource_group.main.name
     location                        = azurerm_resource_group.main.location
     account_tier                    = "Standard"
     account_replication_type        = "LRS"
     account_kind                    = "StorageV2"
     is_hns_enabled                  = true
   
     https_traffic_only_enabled      = true
     min_tls_version                 = "TLS1_2"
     allow_nested_items_to_be_public = false
   
     tags = local.tags
   }
   
   resource "azurerm_storage_container" "bronze" {
     name                  = "bronze"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }
   
   resource "azurerm_storage_container" "silver" {
     name                  = "silver"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }
   
   resource "azurerm_storage_container" "gold" {
     name                  = "gold"
     storage_account_id    = azurerm_storage_account.lake.id
     container_access_type = "private"
   }

4. 4.Aprovisionar la capacidad de Fabric + observabilidad de Log Analytics

   Aprovisiona:

   • Microsoft Fabric
   • Azure Monitor

   El mismo primitivo de capacidad de Fabric que DP-600: el SKU F2 es el tamaño más pequeño y amigable para desarrolladores. Sin embargo, el enfoque de DP-700 es diferente: donde DP-600 se centró en las cargas de trabajo de modelado analítico, DP-700 se centra en la parte de ingesta de datos. Eventstreams, los notebooks de Spark y las Data Pipelines se ejecutan dentro de esta capacidad.

   Log Analytics recibe los diagnósticos de capacidad de Fabric (limitación, duración de la consulta); el dominio Mantener y optimizar de DP-700 se apoya en esto para la respuesta a incidentes cuando una pipeline de streaming comienza a perder eventos.

   Con la capacidad implementada, la infraestructura completa de streaming de DP-700 toma forma: Event Hubs → Fabric Event Stream → tabla Lakehouse en la cuenta de almacenamiento ADLS Gen2. El trabajo de la aplicación (crear el Event Stream, definir el Lakehouse, escribir transformaciones) se realiza en el portal de Fabric.

   Copiar

   resource "azurerm_fabric_capacity" "main" {
     name                = "fab-dp700-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
   
     administration_members = [
       data.azurerm_client_config.current.object_id,
     ]
   
     sku {
       name = "F2"
       tier = "Fabric"
     }
   
     tags = local.tags
   }
   
   resource "azurerm_log_analytics_workspace" "main" {
     name                = "log-dp700"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     sku                 = "PerGB2018"
     retention_in_days   = 30
   
     tags = local.tags
   }
   
   resource "azurerm_monitor_diagnostic_setting" "fabric" {
     name                       = "diag"
     target_resource_id         = azurerm_fabric_capacity.main.id
     log_analytics_workspace_id = azurerm_log_analytics_workspace.main.id
   
     metric {
       category = "AllMetrics"
       enabled  = true
     }
   }
   
   resource "azurerm_monitor_diagnostic_setting" "event_hubs" {
     name                       = "diag"
     target_resource_id         = azurerm_eventhub_namespace.main.id
     log_analytics_workspace_id = azurerm_log_analytics_workspace.main.id
   
     enabled_log {
       category_group = "allLogs"
     }
   
     metric {
       category = "AllMetrics"
       enabled  = true
     }
   }

Limpieza