מעבדה מעשית — ADP Google Cloud Associate Data Practitioner

סקירה כללית

דרישות קדם

שלבים

1. 1.ספק, שירותי פרויקט, שמות

   אפשר את Cloud Storage, BigQuery, ו-BigQuery Data Transfer Service (שמפעיל שאילתות מתוזמנות).

   העתק

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-adp"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bqdts" {
     service            = "bigquerydatatransfer.googleapis.com"
     disable_on_destroy = false
   }

2. 2.הקמת דלי נחיתה של Cloud Storage עבור נתונים גולמיים

   משאבים:

   • Cloud Storage

   כל צינור נתונים בתבנית ADP מתחיל בדלי נחיתה — קבצים גולמיים (CSV / JSON / Parquet / Avro) נוחתים כאן, ומשימות המשך קוראות מהם. הדלי הוא הגבול בין מחוץ לאגם לבתוך האגם. בחינת ADP בודקת שוב את בחירת סוג האחסון כאן — Standard עבור שכבת הנחיתה (קריאות תכופות ב-30 הימים הראשונים), עם כלל מחזור חיים המעביר ל-Coldline לאחר 90 יום.

   גישת דלי אחידה מופעלת (ברירת המחדל האבטחתית המומלצת ב-ADP).

   העתק

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "landing" {
     name                        = "certlabpro-adp-landing-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "COLDLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.יצירת מערך נתונים של BigQuery + טבלה המחולקת לפי זמן קליטה

   משאבים:

   • BigQuery

   BigQuery הוא מחסן נתונים ללא שרתים של GCP — תשלום לפי בייט שנסרק בשאילתה, תשלום לפי בייט שאוחסן בנתונים. בחינת ADP בודקת חלוקה (partitioning) + קיבוץ (clustering) כמנופי בקרת עלויות: טבלאות מחולקות מאפשרות לשאילתות לדלג על נתונים לא רלוונטיים; טבלאות מקובצות מניחות שורות קשורות יחד באחסון.

   אנו יוצרים:

   1. מערך נתונים analytics — המאגר של BigQuery (המקבילה של GCP לסכימה / מסד נתונים). הגדר delete_contents_on_destroy = true לנוחות ניקוי המעבדה.
   2. טבלה events עם חלוקה לפי זמן קליטה (עמודת _PARTITIONTIME פסאודו) ופג תוקף חלוקה של 30 יום. טבלאות ייצור בדרך כלל מחולקות לפי עמודה (time_partitioning.field) לבחירת שאילתות.
   העתק

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false # lab-only
   
     time_partitioning {
       type                     = "DAY"
       expiration_ms            = 30 * 24 * 60 * 60 * 1000 # 30 days
       require_partition_filter = true
     }
   
     schema = jsonencode([
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "user_id",     type = "STRING",    mode = "NULLABLE" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

4. 4.קביעת שאילתת BigQuery שתרוץ כל שעה

   משאבים:

   • BigQuery

   שאילתות מתוזמנות הן הפרימיטיב בתבנית ADP עבור קליטה ממערך נתונים אחד של BigQuery למערך נתונים אחר בקצב קבוע. הן רצות על תשתית BigQuery Data Transfer Service (נפרדת משאילתות bq אד-הוק) ומחויבות באותו תעריף לפי בייט שנסרק.

   אנו מתזמנים שאילתה שתרוץ כל שעה, תקרא ממערך הנתונים הציבורי bigquery-public-data.samples.shakespeare, ותכתוב לטבלת events משלב 3. צורת ה-MERGE (עדכון/הוספה) היא התשובה הקנונית של ADP לקליטה אידמפוטנטית — הפעלה חוזרת של אותה שעה אינה מכפילה את ההוספה.

   השאילתה המתוזמנת פועלת כחשבון השירות המוגדר כברירת מחדל של הפרויקט; פריסות ייצור משתמשות בחשבון שירות העברה ייעודי עם roles/bigquery.dataEditor ביעד.

   העתק

   resource "google_bigquery_data_transfer_config" "hourly_load" {
     display_name           = "certlabpro-adp-hourly-load"
     data_source_id         = "scheduled_query"
     location               = "US"
     schedule               = "every 1 hours"
     destination_dataset_id = google_bigquery_dataset.analytics.dataset_id
   
     params = {
       query = "INSERT INTO `${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}` (event_id, event_type, event_time, user_id, payload) SELECT GENERATE_UUID() AS event_id, \"shakespeare-line\" AS event_type, CURRENT_TIMESTAMP() AS event_time, NULL AS user_id, TO_JSON(STRUCT(word, word_count, corpus)) AS payload FROM `bigquery-public-data.samples.shakespeare` WHERE word_count > 100 LIMIT 100"
     }
   
     depends_on = [
       google_project_service.bqdts,
       google_bigquery_table.events,
     ]
   }

ניקוי משאבים