Лабораторная работа — DP-900 Microsoft Azure Data Fundamentals

Обзор

Предварительные требования

Шаги

1. 1.Выбираем версию Terraform, провайдера и группу ресурсов

   Стандартный заголовок Azure, объединенный в один блок: прикрепляем azurerm ~> 4.0, регистрируем провайдеры random и random_password (мы будем использовать оба — random_id для уникального именования ресурсов, random_password для пароля администратора SQL) и создаем группу ресурсов.

   Копировать

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       azurerm = {
         source  = "hashicorp/azurerm"
         version = "~> 4.0"
       }
       random = {
         source  = "hashicorp/random"
         version = "~> 3.6"
       }
     }
   }
   
   provider "azurerm" {
     features {}
   }
   
   resource "random_id" "suffix" {
     byte_length = 2
   }
   
   locals {
     tags = {
       Project   = "certlabpro-dp-900"
       ManagedBy = "terraform"
     }
   }
   
   resource "azurerm_resource_group" "main" {
     name     = "certlabpro-dp-900-rg"
     location = "eastus"
     tags     = local.tags
   }

2. 2.Развертываем учетную запись хранения для аналитических / BLOB-рабочих нагрузок с политикой жизненного цикла

   Создаваемые ресурсы:

   • Azure Storage

   Azure Storage — это основа для аналитических данных, которую предполагает каждый вопрос DP-900 (многоуровневое хранение Hot / Cool / Archive, политика жизненного цикла, которая автоматически переводит холодные данные). Мы включаем иерархическое пространство имен (is_hns_enabled = true), что преобразует учетную запись в Azure Data Lake Storage Gen2 — версию, которую Azure Synapse, Databricks и Fabric ожидают для аналитических рабочих нагрузок.

   Политика жизненного цикла — это наиболее часто тестируемый механизм оптимизации затрат в DP-900: уровень Hot для активных данных, Cool через 30 дней, Archive через 90 дней. Три уровня, три окна хранения — экзамен будет указывать эти числа в сценариях.

   Копировать

   resource "azurerm_storage_account" "analytics" {
     name                            = "dp900data${random_id.suffix.hex}"
     resource_group_name             = azurerm_resource_group.main.name
     location                        = azurerm_resource_group.main.location
     account_tier                    = "Standard"
     account_replication_type        = "LRS"
     account_kind                    = "StorageV2"
     is_hns_enabled                  = true # Data Lake Storage Gen2
   
     https_traffic_only_enabled      = true
     min_tls_version                 = "TLS1_2"
     allow_nested_items_to_be_public = false
   
     tags = local.tags
   }
   
   resource "azurerm_storage_management_policy" "analytics" {
     storage_account_id = azurerm_storage_account.analytics.id
   
     rule {
       name    = "tier-cold-data"
       enabled = true
   
       filters {
         blob_types   = ["blockBlob"]
         prefix_match = ["raw/"]
       }
   
       actions {
         base_blob {
           tier_to_cool_after_days_since_modification_greater_than    = 30
           tier_to_archive_after_days_since_modification_greater_than = 90
         }
       }
     }
   }

3. 3.Создаем Azure SQL Database для реляционной истории

   Создаваемые ресурсы:

   • Azure SQL Database

   Реляционные данные в Azure означают Azure SQL Database (PaaS, полностью управляемая). DP-900 проверяет различие между SQL Database (одна база данных, бессерверная или на основе DTU, PaaS) и SQL Managed Instance (почти 100% совместимость с SQL Server, крупномасштабная PaaS) и SQL Server на VM (IaaS, полный контроль).

   Мы разворачиваем логический контейнер SQL Server (конечная точка строки подключения) плюс одну базу данных под ним на уровне Basic — самом дешевом платном SKU. Принудительно применяется шифрование при передаче (TLS 1.2). Правило брандмауэра разрешает службам Azure подключаться (типичный вопрос DP-900: «как мой App Service взаимодействует с моим SQL?» — это правило является ответом).

   Копировать

   resource "random_password" "sql_admin" {
     length      = 24
     special     = true
     min_upper   = 2
     min_lower   = 2
     min_numeric = 2
   }
   
   resource "azurerm_mssql_server" "main" {
     name                          = "certlabpro-dp-900-${random_id.suffix.hex}"
     resource_group_name           = azurerm_resource_group.main.name
     location                      = azurerm_resource_group.main.location
     version                       = "12.0"
     administrator_login           = "sqladmin"
     administrator_login_password  = random_password.sql_admin.result
     minimum_tls_version           = "1.2"
     public_network_access_enabled = true
   
     tags = local.tags
   }
   
   resource "azurerm_mssql_database" "main" {
     name           = "certlabpro-dp-900-db"
     server_id      = azurerm_mssql_server.main.id
     sku_name       = "Basic"
     max_size_gb    = 2
     zone_redundant = false
   
     tags = local.tags
   }
   
   resource "azurerm_mssql_firewall_rule" "allow_azure_services" {
     name             = "AllowAzureServices"
     server_id        = azurerm_mssql_server.main.id
     start_ip_address = "0.0.0.0"
     end_ip_address   = "0.0.0.0" # 0.0.0.0/0.0.0.0 = "allow Azure services" sentinel
   }

4. 4.Создаем учетную запись Cosmos DB для нереляционной истории

   Создаваемые ресурсы:

   • Azure Cosmos DB

   Нереляционные данные в Azure означают Azure Cosmos DB, глобально распределенную базу данных с поддержкой нескольких API. DP-900 специально проверяет различие API — NoSQL (Core / SQL API, наиболее распространенный), MongoDB, Cassandra, Gremlin и Table. Мы используем Core SQL API + бессерверный режим емкости (оплата за запрос, отсутствие счетов за простой — вопрос DP-900 об анти-паттерне затрат для бессерверного режима против предоставленного).

   consistency_level = "Session" — это значение по умолчанию для Cosmos DB и наиболее часто тестируемый уровень согласованности на DP-900: линейная согласованность на уровне сессии с низкой задержкой. Остальные четыре — Strong, Bounded staleness, Eventual, Consistent prefix — являются концептуальными темами экзамена.

   С тремя основами данных (blob в Шаге 2, SQL в Шаге 3, Cosmos в Шаге 4), домен DP-900 «Основные концепции данных» приобретает осязаемую форму: «какая служба Azure для какой формы данных» — на этот вопрос отвечают эти три ресурса.

   Копировать

   resource "azurerm_cosmosdb_account" "main" {
     name                = "certlabpro-dp-900-${random_id.suffix.hex}"
     resource_group_name = azurerm_resource_group.main.name
     location            = azurerm_resource_group.main.location
     offer_type          = "Standard"
     kind                = "GlobalDocumentDB" # Core (SQL) API
   
     capabilities {
       name = "EnableServerless"
     }
   
     consistency_policy {
       consistency_level = "Session"
     }
   
     geo_location {
       location          = azurerm_resource_group.main.location
       failover_priority = 0
     }
   
     tags = local.tags
   }

Очистка ресурсов