ハンズオンラボ — PDE Google Cloud Professional Data Engineer

概要

前提条件

ステップ

1. 1.プロバイダー、プロジェクトサービス、命名規則

   Cloud Storage、Pub/Sub、BigQuery、DataflowのAPIを有効にします。

   コピー

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-pde"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "pubsub" {
     service            = "pubsub.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "dataflow" {
     service            = "dataflow.googleapis.com"
     disable_on_destroy = false
   }

2. 2.Dataflow用のCloud Storageインジェスト + 一時バケットをプロビジョニングする

   プロビジョニング対象:

   • Cloud Storage

   Dataflowジョブは、一時ファイル（Pythonホイール、JARアップロード、中間状態）のための GCSステージングバケット を必要とします。PDEで推奨されるパターンは、データドメインごとに1つのバケットを用意し、staging/、temp/、templates/ のサブフォルダで運用状態を実際のデータから分離することです。

   コピー

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "ingest" {
     name                        = "certlabpro-pde-ingest-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.Pub/Subトピックを設定する (ストリーミング入力)

   プロビジョニング対象:

   • Pub/Sub

   PDEの典型的なストリーミング入力: パブリッシャー (クリックスストリーム、IoT、CDC) がイベントをPub/Subトピックにプッシュし、Dataflow がサブスクライブしてBigQueryに書き込みます。Pub/Subは、耐久性のある、少なくとも1回の配信と、プロデューサーに影響を与えることなくコンシューマーを変更できるデカップリングレイヤーを提供します。

   ここでは、トピック events とDataflowが所有するサブスクリプション events-to-bq を作成します。サブスクリプションの ack_deadline_seconds = 60 は、PDEで推奨されるDataflowの設定であり、一般的なDataflowのウィンドウ排出頻度よりも長く設定されています。

   コピー

   resource "google_pubsub_topic" "events" {
     name = "events"
   
     labels = local.labels
   
     depends_on = [google_project_service.pubsub]
   }
   
   resource "google_pubsub_subscription" "events_to_bq" {
     name  = "events-to-bq"
     topic = google_pubsub_topic.events.id
   
     ack_deadline_seconds       = 60
     message_retention_duration = "604800s" # 7 days
   
     labels = local.labels
   }

4. 4.BigQueryターゲットを作成する: パーティション分割 + クラスタリングされたテーブル

   プロビジョニング対象:

   • BigQuery

   PDE試験では、このパーティション分割とクラスタリングの選択が執拗に問われます。ここでは、event_time でパーティション分割 (DAY粒度、PDEの定番) し、event_type でクラスタリングされた events テーブルを作成します。これにより、event_time でフィルタリングするクエリは無関係なパーティションをスキップし、event_type でフィルタリングするクエリはパーティション内の無関係なブロックをスキップします。

   require_partition_filter = true は、クエリに WHERE event_time >= ... 句を含めることを強制します。これは、誤って高額なフルテーブルスキャンが発生するのを防ぐためのPDE推奨のガードレールです。

   コピー

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false
   
     time_partitioning {
       type                     = "DAY"
       field                    = "event_time"
       require_partition_filter = true
     }
   
     clustering = ["event_type"]
   
     schema = jsonencode([
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

5. 5.Dataflow Flex TemplateによるPub/Sub → BigQueryストリーミングジョブの起動

   プロビジョニング対象:

   • Dataflow

   Dataflow Flex Templates は、PDEの典型的なジョブ・アズ・リソースの形態です。Googleは一般的なパターン（Pub/Sub → BigQuery、Pub/Sub → GCS、JDBC → BigQueryなど）向けに事前構築されたテンプレートを提供しており、それらをパラメータ付きで起動します。

   ここでは、Googleが提供する Pubsub_Subscription_to_BigQuery テンプレートを、ステップ3のサブスクリプションとステップ4のテーブルに対して起動します。ジョブは terraform apply の実行直後に開始されます。Dataflow → Jobsの下に表示されます。月額約50ドルのワーカー料金を停止するため、完了したら gcloud dataflow jobs cancel <job-id> --region us-central1 でキャンセルしてください。

   コピー

   data "google_project" "current" {}
   
   resource "google_dataflow_flex_template_job" "pubsub_to_bq" {
     provider                = google-beta
     name                    = "certlabpro-pde-pubsub-to-bq"
     container_spec_gcs_path = "gs://dataflow-templates-us-central1/latest/flex/PubSub_Subscription_to_BigQuery"
     region                  = "us-central1"
   
     parameters = {
       inputSubscription = google_pubsub_subscription.events_to_bq.id
       outputTableSpec   = "${data.google_project.current.project_id}:${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}"
     }
   
     temp_location     = "gs://${google_storage_bucket.ingest.name}/temp"
     staging_location  = "gs://${google_storage_bucket.ingest.name}/staging"
   
     on_delete = "cancel"
   
     depends_on = [google_project_service.dataflow]
   }

クリーンアップ