Laboratório prático — ADP Google Cloud Associate Data Practitioner

Visão geral

Pré-requisitos

Passos

1. 1.Provedor, serviços de projeto, nomenclatura

   Habilite o Cloud Storage, BigQuery e o Serviço de Transferência de Dados do BigQuery (que potencializa as consultas agendadas).

   Copiar

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-adp"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bqdts" {
     service            = "bigquerydatatransfer.googleapis.com"
     disable_on_destroy = false
   }

2. 2.Provisione um bucket de destino do Cloud Storage para dados brutos

   Provisiona:

   • Cloud Storage

   Todo pipeline de dados padrão ADP começa com um bucket de destino — arquivos brutos (CSV / JSON / Parquet / Avro) são depositados aqui, e trabalhos posteriores os leem. O bucket é a fronteira entre fora do lago e dentro do lago. O exame ADP testa novamente a escolha da classe de armazenamento aqui — Padrão para a camada de destino (leituras frequentes nos primeiros 30 dias), com uma regra de ciclo de vida para transicionar para Coldline após 90 dias.

   O acesso uniforme no nível do bucket está ativado (o padrão de segurança recomendado pelo ADP).

   Copiar

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "landing" {
     name                        = "certlabpro-adp-landing-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "COLDLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.Crie um conjunto de dados do BigQuery + tabela particionada por tempo de ingestão

   Provisiona:

   • BigQuery

   BigQuery é o data warehouse serverless do GCP — pague por byte escaneado na consulta, pague por byte armazenado nos dados. O exame ADP testa particionamento + clustering como as alavancas de controle de custo: tabelas particionadas permitem que as consultas ignilem dados irrelevantes; tabelas clusterizadas agrupam linhas relacionadas no armazenamento.

   Nós criamos:

   1. Conjunto de dados analytics — o contêiner do BigQuery (o equivalente GCP de um esquema / banco de dados). Defina delete_contents_on_destroy = true para conveniência da limpeza do laboratório.
   2. Tabela events com particionamento por tempo de ingestão (pseudo-coluna _PARTITIONTIME) e expiração de partição de 30 dias. Tabelas de produção geralmente particionam por uma coluna (time_partitioning.field) para seletividade de consulta.
   Copiar

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false # lab-only
   
     time_partitioning {
       type                     = "DAY"
       expiration_ms            = 30 * 24 * 60 * 60 * 1000 # 30 days
       require_partition_filter = true
     }
   
     schema = jsonencode([
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "user_id",     type = "STRING",    mode = "NULLABLE" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

4. 4.Agende uma consulta do BigQuery que é executada a cada hora

   Provisiona:

   • BigQuery

   Consultas agendadas são a primitiva padrão ADP para ingestão de um conjunto de dados BigQuery para outro em uma cadência fixa. Elas são executadas na infraestrutura do Serviço de Transferência de Dados do BigQuery (separado das consultas ad-hoc bq) e cobram a mesma taxa por byte escaneado.

   Agendamos uma consulta que é executada a cada hora, lê do conjunto de dados público bigquery-public-data.samples.shakespeare e escreve na tabela events da Etapa 3. O formato MERGE (upsert) é a resposta canônica do ADP para ingestão idempotente — reexecutar a mesma hora não insere duplicatas.

   A consulta agendada é executada como a conta de serviço padrão do projeto; implantações de produção usam uma conta de serviço de transferência dedicada com roles/bigquery.dataEditor no destino.

   Copiar

   resource "google_bigquery_data_transfer_config" "hourly_load" {
     display_name           = "certlabpro-adp-hourly-load"
     data_source_id         = "scheduled_query"
     location               = "US"
     schedule               = "every 1 hours"
     destination_dataset_id = google_bigquery_dataset.analytics.dataset_id
   
     params = {
       query = "INSERT INTO `${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}` (event_id, event_type, event_time, user_id, payload) SELECT GENERATE_UUID() AS event_id, \"shakespeare-line\" AS event_type, CURRENT_TIMESTAMP() AS event_time, NULL AS user_id, TO_JSON(STRUCT(word, word_count, corpus)) AS payload FROM `bigquery-public-data.samples.shakespeare` WHERE word_count > 100 LIMIT 100"
     }
   
     depends_on = [
       google_project_service.bqdts,
       google_bigquery_table.events,
     ]
   }

Limpeza