हैड्स-ऑन लैब — ADP Google Cloud Associate Data Practitioner

अवलोकन

पूर्व-आवश्यकताएं

चरण

1. 1.प्रोवाइडर, प्रोजेक्ट सेवाएँ, नामकरण

   क्लाउड स्टोरेज, बिगक्वेरी और बिगक्वेरी डेटा ट्रांसफर सर्विस (जो शेड्यूल्ड क्वेरीज़ को शक्ति प्रदान करती है) को सक्षम करें।

   कॉपी

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-adp"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bigquery" {
     service            = "bigquery.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "bqdts" {
     service            = "bigquerydatatransfer.googleapis.com"
     disable_on_destroy = false
   }

2. 2.कच्चे डेटा के लिए एक क्लाउड स्टोरेज लैंडिंग बकेट प्रोविजन करें

   प्रोविज़न:

   • Cloud Storage

   हर ADP-पैटर्न डेटा पाइपलाइन एक लैंडिंग बकेट से शुरू होती है — कच्ची फ़ाइलें (CSV / JSON / Parquet / Avro) यहाँ गिरती हैं, डाउनस्ट्रीम जॉब्स इससे पढ़ते हैं। बकेट झील के बाहर और झील के अंदर के बीच की सीमा है। ADP परीक्षा यहाँ फिर से स्टोरेज क्लास के चुनाव का परीक्षण करती है — लैंडिंग टियर के लिए स्टैंडर्ड (पहले 30 दिनों में बार-बार पढ़ना), जिसमें 90 दिनों के बाद कोल्डलाइन में संक्रमण का एक लाइफसाइकिल नियम होता है।

   यूनिफ़ॉर्म बकेट-लेवल एक्सेस चालू है (ADP-अनुशंसित सुरक्षा डिफ़ॉल्ट)।

   कॉपी

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "landing" {
     name                        = "certlabpro-adp-landing-${random_id.suffix.hex}"
     location                    = "US"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "COLDLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.एक बिगक्वेरी डेटासेट + इनगेशन-टाइम-पार्टिशन वाली तालिका बनाएँ

   प्रोविज़न:

   • BigQuery

   बिगक्वेरी GCP का सर्वरलेस डेटा वेयरहाउस है — क्वेरी पर स्कैन किए गए प्रति-बाइट भुगतान करें, डेटा पर संग्रहीत प्रति-बाइट भुगतान करें। ADP परीक्षा विभाजन + क्लस्टरिंग को लागत-नियंत्रण लीवर्स के रूप में परीक्षण करती है: विभाजित तालिकाएँ क्वेरीज़ को अप्रासंगिक डेटा को छोड़ने देती हैं; क्लस्टर्ड तालिकाएँ संबंधित पंक्तियों को स्टोरेज पर एक साथ रखती हैं।

   हम बनाते हैं:

   1. डेटासेट analytics — बिगक्वेरी कंटेनर (एक स्कीमा / डेटाबेस का GCP समतुल्य)। लैब सफाई की सुविधा के लिए delete_contents_on_destroy = true सेट करें।
   2. तालिका events जिसमें इनगेशन-टाइम विभाजन (_PARTITIONTIME छद्म-स्तंभ) और 30-दिन का विभाजन समाप्ति है। उत्पादन तालिकाएँ आमतौर पर क्वेरी चयनात्मकता के लिए एक स्तंभ (time_partitioning.field) द्वारा विभाजित होती हैं।
   कॉपी

   resource "google_bigquery_dataset" "analytics" {
     dataset_id                  = "analytics"
     location                    = "US"
     delete_contents_on_destroy  = true # lab-only
   
     labels = local.labels
   
     depends_on = [google_project_service.bigquery]
   }
   
   resource "google_bigquery_table" "events" {
     dataset_id          = google_bigquery_dataset.analytics.dataset_id
     table_id            = "events"
     deletion_protection = false # lab-only
   
     time_partitioning {
       type                     = "DAY"
       expiration_ms            = 30 * 24 * 60 * 60 * 1000 # 30 days
       require_partition_filter = true
     }
   
     schema = jsonencode([
       { name = "event_id",    type = "STRING",    mode = "REQUIRED" },
       { name = "event_type",  type = "STRING",    mode = "REQUIRED" },
       { name = "event_time",  type = "TIMESTAMP", mode = "REQUIRED" },
       { name = "user_id",     type = "STRING",    mode = "NULLABLE" },
       { name = "payload",     type = "JSON",      mode = "NULLABLE" },
     ])
   
     labels = local.labels
   }

4. 4.एक बिगक्वेरी क्वेरी शेड्यूल करें जो हर घंटे चलती है

   प्रोविज़न:

   • BigQuery

   शेड्यूल्ड क्वेरीज़ एक निश्चित ताल पर एक बिगक्वेरी डेटासेट से दूसरे में डेटा लेने के लिए ADP-पैटर्न आदिम हैं। वे बिगक्वेरी डेटा ट्रांसफर सर्विस इंफ्रास्ट्रक्चर पर चलती हैं (bq एड-हॉक क्वेरीज़ से अलग) और उसी प्रति-बाइट-स्कैन दर पर बिल करती हैं।

   हम एक क्वेरी शेड्यूल करते हैं जो हर घंटे चलती है, सार्वजनिक bigquery-public-data.samples.shakespeare डेटासेट से पढ़ती है, और चरण 3 से events तालिका में लिखती है। MERGE आकार (अप्सर्ट) निष्क्रिय इनगेशन के लिए ADP-कैनोनिकल उत्तर है — उसी घंटे को फिर से चलाने से दोगुना प्रविष्टि नहीं होती है।

   शेड्यूल्ड क्वेरी प्रोजेक्ट डिफ़ॉल्ट सेवा खाते के रूप में चलती है; उत्पादन डिप्लॉयमेंट गंतव्य पर roles/bigquery.dataEditor के साथ एक समर्पित ट्रांसफर सेवा खाता का उपयोग करते हैं।

   कॉपी

   resource "google_bigquery_data_transfer_config" "hourly_load" {
     display_name           = "certlabpro-adp-hourly-load"
     data_source_id         = "scheduled_query"
     location               = "US"
     schedule               = "every 1 hours"
     destination_dataset_id = google_bigquery_dataset.analytics.dataset_id
   
     params = {
       query = "INSERT INTO `${google_bigquery_dataset.analytics.dataset_id}.${google_bigquery_table.events.table_id}` (event_id, event_type, event_time, user_id, payload) SELECT GENERATE_UUID() AS event_id, \"shakespeare-line\" AS event_type, CURRENT_TIMESTAMP() AS event_time, NULL AS user_id, TO_JSON(STRUCT(word, word_count, corpus)) AS payload FROM `bigquery-public-data.samples.shakespeare` WHERE word_count > 100 LIMIT 100"
     }
   
     depends_on = [
       google_project_service.bqdts,
       google_bigquery_table.events,
     ]
   }

क्लीनअप (Cleanup)