动手实验室 — ADP Google Cloud Associate Data Practitioner

概述

先决条件

步骤

1. 1.Provider、项目服务、命名

   启用 Cloud Storage、BigQuery 和 BigQuery Data Transfer Service（支持计划查询）。

   复制

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-adp"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bqdts" {
     service            = "bigquerydatatransfer.googleapis.com"
     disable_on_destroy = false
   }

2. 2.为原始数据预置一个 Cloud Storage 数据落地桶

   配置服务：

   • Cloud Storage

   每个 ADP 模式的数据管道都始于一个数据落地桶——原始文件（CSV / JSON / Parquet / Avro）会投放到这里，下游作业会从中读取。该存储桶是数据湖“外部”和“内部”之间的界限。ADP 考试再次考察了存储类别的选择——对于落地层（前 30 天频繁读取），选择 Standard，并设置一个生命周期规则，在 90 天后转换为 Coldline。

   统一存储桶级访问已启用（ADP 推荐的安全默认设置）。

   复制

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "landing" {
     name                        = "certlabpro-adp-landing-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "COLDLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.创建一个 BigQuery 数据集 + 摄取时间分区表

   配置服务：

   • BigQuery

   BigQuery 是 GCP 的无服务器数据仓库——查询按扫描字节付费，数据按存储字节付费。ADP 考试将分区 + 聚类作为成本控制杠杆进行考察：分区表允许查询跳过不相关的数据；聚类表将相关行存储在一起。

   我们将创建：

   1. 数据集 analytics——BigQuery 容器（相当于 GCP 中的 schema / 数据库）。为方便实验清理，设置 delete_contents_on_destroy = true。
   2. 表 events，具有摄取时间分区（_PARTITIONTIME 伪列）和 30 天的分区过期时间。生产表通常按列 (time_partitioning.field) 分区，以提高查询选择性。
   复制

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false # lab-only
   
     time_partitioning {
       type                     = "DAY"
       expiration_ms            = 30 * 24 * 60 * 60 * 1000 # 30 days
       require_partition_filter = true
     }
   
     schema = jsonencode([
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "user_id",     type = "STRING",    mode = "NULLABLE" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

4. 4.安排一个每小时运行的 BigQuery 查询

   配置服务：

   • BigQuery

   计划查询是 ADP 模式中用于“以固定频率将数据从一个 BigQuery 数据集摄取到另一个数据集”的基本操作。它们运行在 BigQuery Data Transfer Service 基础设施上（独立于 bq 特别查询），并按相同的扫描字节费率计费。

   我们计划了一个每小时运行的查询，它从公共数据集 bigquery-public-data.samples.shakespeare 读取数据，并写入到步骤 3 的 events 表中。MERGE 形式（upsert）是 ADP 模式中实现幂等摄取的规范答案——重复运行同一小时不会重复插入数据。

   计划查询以项目默认服务账户身份运行；生产部署使用一个专用的数据传输服务账户，并在目标上授予 roles/bigquery.dataEditor 角色。

   复制

   resource "google_bigquery_data_transfer_config" "hourly_load" {
     display_name           = "certlabpro-adp-hourly-load"
     data_source_id         = "scheduled_query"
     location               = "US"
     schedule               = "every 1 hours"
     destination_dataset_id = google_bigquery_dataset.analytics.dataset_id
   
     params = {
       query = "INSERT INTO `${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}` (event_id, event_type, event_time, user_id, payload) SELECT GENERATE_UUID() AS event_id, \"shakespeare-line\" AS event_type, CURRENT_TIMESTAMP() AS event_time, NULL AS user_id, TO_JSON(STRUCT(word, word_count, corpus)) AS payload FROM `bigquery-public-data.samples.shakespeare` WHERE word_count > 100 LIMIT 100"
     }
   
     depends_on = [
       google_project_service.bqdts,
       google_bigquery_table.events,
     ]
   }

清理