ハンズオンラボ — ADP Google Cloud Associate Data Practitioner

概要

前提条件

ステップ

1. 1.プロバイダ、プロジェクトサービス、命名

   Cloud Storage、BigQuery、および BigQuery Data Transfer Service（スケジュールクエリを動かすサービス）を有効にします。

   コピー

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-adp"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bqdts" {
     service            = "bigquerydatatransfer.googleapis.com"
     disable_on_destroy = false
   }

2. 2.未加工データ用の Cloud Storage ランディングバケットをプロビジョニングする

   プロビジョニング対象:

   • Cloud Storage

   すべての ADP パターンのデータパイプラインは、ランディングバケットから始まります。未加工ファイル（CSV / JSON / Parquet / Avro）がここにドロップされ、ダウンストリームジョブがここから読み込みます。このバケットは、「データレイクの外側」と「データレイクの内側」の境界です。ADP 試験では、ここでもストレージクラスの選択が問われます — ランディング層には Standard（最初の30日間の頻繁な読み取り）を使用し、90日後に Coldline に移行するライフサイクルルールを設定します。

   バケットレベルの統一アクセスは有効になっています（ADP が推奨するセキュリティのデフォルト設定）。

   コピー

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "landing" {
     name                        = "certlabpro-adp-landing-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "COLDLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.BigQuery データセットと取り込み時間パーティション分割テーブルを作成する

   プロビジョニング対象:

   • BigQuery

   BigQuery は GCP のサーバーレスデータウェアハウスです — クエリごとにスキャンされたバイト数、データごとに保存されたバイト数で課金されます。ADP 試験では、コスト管理の手段としてパーティション分割とクラスタリングが問われます。パーティション分割されたテーブルは、クエリが関連性のないデータをスキップできるようにし、クラスタ化されたテーブルは、関連する行をストレージ上でまとめて配置します。

   ここでは以下を作成します。

   1. データセット analytics — BigQuery のコンテナ（GCP におけるスキーマ / データベースに相当）。ラボのクリーンアップの便宜のため、delete_contents_on_destroy = true を設定します。
   2. テーブル events — 取り込み時間パーティション分割（_PARTITIONTIME 擬似列）と30日間のパーティション有効期限を設定します。本番環境のテーブルでは、通常、クエリの選択性を高めるために列（time_partitioning.field）でパーティション分割します。
   コピー

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false # lab-only
   
     time_partitioning {
       type                     = "DAY"
       expiration_ms            = 30 * 24 * 60 * 60 * 1000 # 30 days
       require_partition_filter = true
     }
   
     schema = jsonencode([
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "user_id",     type = "STRING",    mode = "NULLABLE" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

4. 4.BigQuery クエリを1時間ごとに実行するようにスケジュールする

   プロビジョニング対象:

   • BigQuery

   スケジュールクエリは、ある BigQuery データセットから別のデータセットへ定期的に取り込むための ADP パターンの基本要素です。これらは BigQuery Data Transfer Service インフラストラクチャ上で実行され（bq アドホッククエリとは別）、同じスキャンされたバイトあたりの料金で課金されます。

   ここでは、毎時間実行されるクエリをスケジュールします。このクエリは、公開データセット bigquery-public-data.samples.shakespeare から読み込み、ステップ3の events テーブルに書き込みます。MERGE 形式（アップサート）は、冪等な取り込みに対する ADP の標準的な回答です — 同じ時間に再実行しても二重に挿入されることはありません。

   スケジュールクエリはプロジェクトのデフォルトサービスアカウントとして実行されます。本番環境のデプロイでは、宛先に対して roles/bigquery.dataEditor ロールを持つ専用の転送サービスアカウントを使用します。

   コピー

   resource "google_bigquery_data_transfer_config" "hourly_load" {
     display_name           = "certlabpro-adp-hourly-load"
     data_source_id         = "scheduled_query"
     location               = "US"
     schedule               = "every 1 hours"
     destination_dataset_id = google_bigquery_dataset.analytics.dataset_id
   
     params = {
       query = "INSERT INTO `${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}` (event_id, event_type, event_time, user_id, payload) SELECT GENERATE_UUID() AS event_id, \"shakespeare-line\" AS event_type, CURRENT_TIMESTAMP() AS event_time, NULL AS user_id, TO_JSON(STRUCT(word, word_count, corpus)) AS payload FROM `bigquery-public-data.samples.shakespeare` WHERE word_count > 100 LIMIT 100"
     }
   
     depends_on = [
       google_project_service.bqdts,
       google_bigquery_table.events,
     ]
   }

クリーンアップ