अंतिम समीक्षा: मई 2026
ADP परीक्षा द्वारा परखे जाने वाले architectural patterns का स्कैन-योग्य संदर्भ। ऊपर से नीचे पढ़ें या किसी section पर जाएं।
लार्ज बैच फ़ाइलों (CSV, Parquet, Avro) को Cloud Storage से BigQuery में लोड करें।
BigQuery लोड जॉब का उपयोग करें। एक ही जॉब में कई फ़ाइलों को लोड करने के लिए वाइल्डकार्ड URI (उदाहरण के लिए, `gs://bucket/path/*`) निर्दिष्ट करें।
क्यों: यह बैच अंतर्ग्रहण के लिए सबसे तेज़ और सबसे किफ़ायती तरीका है। लोड जॉब मुफ्त होते हैं। यह स्ट्रीमिंग की प्रति-पंक्ति लागत से बचाता है।
परिवर्तन की संभावना के साथ उच्च-वॉल्यूम, वास्तविक-समय डेटा (IoT, क्लिकस्ट्रीम) को अंतर्ग्रहण करें।
Pub/Sub -> Dataflow -> BigQuery।
क्यों: कैनोनिकल स्केलेबल स्ट्रीमिंग पैटर्न। Pub/Sub एक टिकाऊ, स्केलेबल बफर प्रदान करता है। Dataflow जटिल परिवर्तनों, विंडोइंग और एगजैक्टली-वन्स प्रोसेसिंग को सक्षम बनाता है।
कम विलंबता के साथ एक ऑपरेशनल डेटाबेस (MySQL, PostgreSQL, Oracle) को BigQuery में रेप्लिकेट करें, सभी परिवर्तनों (इन्सर्ट, अपडेट, डिलीट) को कैप्चर करते हुए।
चेंज डेटा कैप्चर (CDC) के लिए Datastream का उपयोग करें।
क्यों: कम-प्रभाव वाले, वास्तविक-समय CDC के लिए विशेष रूप से निर्मित। यह प्रारंभिक बैकफिल को संभालता है और चल रहे परिवर्तनों को सीधे BigQuery में स्ट्रीम करता है।
BigQuery में लोड करने से पहले जटिल डेटा सत्यापन, संवर्धन या परिवर्तन (जैसे, नेस्टेड JSON/XML को फ़्लैट करना) करें।
कस्टम Apache Beam ट्रांसफ़ॉर्म (जैसे, ParDo) के साथ Dataflow पाइपलाइन का उपयोग करें।
क्यों: Dataflow कस्टम कोड (Python/Java), जटिल तर्क और अमान्य रिकॉर्ड को डेड-लेटर क्यू में रूट करने के लिए अधिकतम लचीलापन प्रदान करता है।
टेराबाइट्स या पेटाबाइट्स डेटा को दूसरे क्लाउड (जैसे, S3) या ऑन-प्रिमाइसेस डेटा सेंटर से Cloud Storage में स्थानांतरित करें।
क्लाउड-टू-क्लाउड के लिए, Storage Transfer Service का उपयोग करें। सीमित नेटवर्क बैंडविड्थ वाले ऑन-प्रिमाइसेस के लिए, Transfer Appliance का उपयोग करें।
क्यों: STS ऑनलाइन ट्रांसफर के लिए एक प्रबंधित, उच्च-प्रदर्शन सेवा है। जब नेटवर्क बाधा हो, तब Transfer Appliance ऑफ़लाइन (भौतिक शिपिंग) ट्रांसफर के लिए है।
Cloud Storage या Amazon S3 में मौजूद डेटा को बिना लोड किए सीधे BigQuery से क्वेरी करें।
एक BigQuery External Table बनाएँ। Spark के साथ एकीकृत शासन के लिए, BigLake Table का उपयोग करें।
क्यों: BigQuery में डेटा डुप्लिकेशन और स्टोरेज लागत से बचता है। BigLake ऑब्जेक्ट स्टोरेज डेटा पर फाइन-ग्रेन्ड सुरक्षा (पंक्ति/कॉलम स्तर) और शासन जोड़ता है।
जब स्रोत फ़ाइलों (JSON, Avro) में नए कॉलम जोड़े जाते हैं तो एक अंतर्ग्रहण पाइपलाइन को स्वचालित रूप से अनुकूलित होना चाहिए।
BigQuery लोड जॉब को `schemaUpdateOptions` को `ALLOW_FIELD_ADDITION` पर सेट करके कॉन्फ़िगर करें।
क्यों: स्कीमा विकास को स्वचालित करता है। BigQuery लोड जॉब को विफल किए बिना नए कॉलम को टेबल स्कीमा में जोड़ता है।
विरासत स्ट्रीमिंग API की तुलना में कम लागत पर एगजैक्टली-वन्स सिमेंटिक्स के साथ उच्च-वॉल्यूम डेटा को BigQuery में स्ट्रीम करें।
BigQuery Storage Write API का उपयोग करें।
क्यों: पुराने `insertAll` API की तुलना में उच्च थ्रूपुट और कम लागत प्रदान करता है, साथ ही एक स्ट्रीम के भीतर एगजैक्टली-वन्स डिलीवरी जैसी मजबूत गारंटी भी प्रदान करता है।
शेड्यूल पर कई निर्भर कार्यों (जैसे, Dataflow, BigQuery, Cloud Functions) के साथ एक जटिल वर्कफ़्लो को ऑर्केस्ट्रेट करें।
Cloud Composer (प्रबंधित Apache Airflow) का उपयोग करें।
क्यों: जटिल वर्कफ़्लो ऑर्केस्ट्रेशन के लिए मानक। यह निर्भरता, शेड्यूलिंग, रिट्राइज़, अलर्टिंग और एक समृद्ध ऑपरेटर इकोसिस्टम को परिभाषित करने के लिए DAGs प्रदान करता है।
एक Cloud Composer DAG को आगे बढ़ने से पहले Cloud Storage बकेट में एक विशिष्ट फ़ाइल के आने का इंतजार करने और रुकने की आवश्यकता है।
Airflow DAG में `GCSObjectExistenceSensor` का उपयोग करें।
क्यों: यह बाहरी स्थितियों पर प्रतीक्षा करने के लिए विशिष्ट Airflow "सेंसर" पैटर्न है। यह PythonOperator में एक कस्टम पोलिंग लूप की तुलना में अधिक कुशल है।
एक स्ट्रीमिंग Dataflow पाइपलाइन को टाइमस्टैम्प द्वारा घटनाओं को सही ढंग से एकत्रित करने की आवश्यकता है, भले ही घटनाएँ अव्यवस्थित या देर से पहुँचें।
वाटरमार्क के साथ इवेंट-टाइम विंडोइंग का उपयोग करें और `allowedLateness` को कॉन्फ़िगर करें।
क्यों: यह कोर Dataflow/Beam सुविधा डेटा को सही ढंग से समूहित करती है कि घटना कब हुई, न कि कब उसे संसाधित किया गया। `allowedLateness` देर से आने वाले डेटा को गिराने से रोकता है।
बैच प्रोसेसिंग या ML के लिए बड़े पैमाने पर, गैर-इंटरैक्टिव Apache Spark जॉब चलाएं।
एक Dataproc क्लस्टर का उपयोग करें। अधिकतम लागत बचत के लिए, Spot VMs (पूर्व में प्रीएम्प्टिबल VMs) के साथ एक अल्पकालिक क्लस्टर का उपयोग करें।
क्यों: Dataproc प्रबंधित Spark/Hadoop सेवा है। अल्पकालिक क्लस्टर केवल जॉब की अवधि के लिए मौजूद होते हैं, और Spot VMs दोष-सहिष्णु वर्कलोड के लिए गहरी छूट प्रदान करते हैं।
एक मानकीकृत Dataflow पाइपलाइन बनाएँ जिसे विभिन्न पैरामीटर (जैसे, इनपुट/आउटपुट पाथ) के साथ विभिन्न टीमों द्वारा निष्पादित किया जा सके।
पाइपलाइन को Dataflow Flex Template के रूप में पैकेज करें।
क्यों: Flex Templates पुन: प्रयोज्य Dataflow जॉब्स के लिए आधुनिक मानक हैं। वे कंटेनर-आधारित हैं, कस्टम निर्भरताओं का समर्थन करते हैं, और रनटाइम पैरामीटर स्वीकार करते हैं।
Cloud Composer DAG में एक कार्य अस्थायी बाहरी मुद्दों (जैसे, API रेट लिमिटिंग, संसाधन प्रतिस्पर्धा) के कारण रुक-रुक कर विफल हो जाता है।
कार्य के लिए `retries` और `retry_delay` को `retry_exponential_backoff=True` के साथ कॉन्फ़िगर करें।
क्यों: यह पाइपलाइन को स्वचालित रूप से विफल कार्यों को बढ़ते विलंब के साथ फिर से प्रयास करके लचीला बनाता है, अक्सर मैन्युअल हस्तक्षेप के बिना क्षणिक मुद्दों को हल करता है।
एक Dataflow स्ट्रीमिंग पाइपलाइन पीछे छूट रही है, जिसमें उच्च सिस्टम लैग या डेटा फ्रेशनेस दिखाई दे रही है।
Dataflow निगरानी मेट्रिक्स की जांच करें। जांचें कि क्या ऑटोस्केलिंग `maxNumWorkers` सीमा तक पहुँच रही है। `maxNumWorkers` बढ़ाएँ या एक बड़े मशीन प्रकार पर स्विच करें।
क्यों: उच्च सिस्टम लैग अपर्याप्त प्रोसेसिंग क्षमता का एक प्राथमिक संकेतक है। डेटा प्रवाह के साथ तालमेल बिठाने के लिए पाइपलाइन को अधिक या बड़े वर्कर्स की आवश्यकता है।
क्वेरी लागत और प्रदर्शन के लिए एक बड़ी BigQuery टेबल को अनुकूलित करें।
टेबल को बार-बार फ़िल्टर किए गए समय-इकाई कॉलम (जैसे, ट्रांज़ेक्शन डेट) द्वारा पार्टिशन करें। अन्य उच्च-कार्डिनैलिटी, बार-बार फ़िल्टर किए गए कॉलम (जैसे, `customer_id`) द्वारा टेबल को क्लस्टर करें।
क्यों: पार्टिशनिंग स्कैन किए गए डेटा की मात्रा को कम करके लागत और विलंबता को कम करने का सबसे प्रभावी तरीका है। क्लस्टरिंग पार्टिशन के भीतर डेटा को सॉर्ट करके प्रदर्शन में और सुधार करती है।
एक संवेदनशील BigQuery डेटासेट से डेटा को एक अनधिकृत गंतव्य (जैसे, एक सार्वजनिक GCS बकेट) पर कॉपी होने से रोकें, भले ही वैध क्रेडेंशियल वाले उपयोगकर्ता द्वारा किया गया हो।
BigQuery डेटासेट वाले प्रोजेक्ट के चारों ओर एक सेवा परिधि बनाने के लिए VPC Service Controls का उपयोग करें।
क्यों: VPC Service Controls GCP सेवाओं के लिए एक "वर्चुअल फ़ायरवॉल" के रूप में कार्य करते हैं, डेटा को परिधि छोड़ने से रोकते हैं। यह डेटा एक्सफ़िल्ट्रेशन के खिलाफ एक महत्वपूर्ण डीप-इन-डिफेंस नियंत्रण है।
BigQuery टेबल में संवेदनशील कॉलम (जैसे, PII) तक पहुंच को अधिकृत समूहों तक सीमित करें, जबकि दूसरों को शेष कॉलम को क्वेरी करने की अनुमति दें।
एक टैक्सोनॉमी और पॉलिसी टैग बनाने के लिए Data Catalog का उपयोग करें। संवेदनशील कॉलम पर पॉलिसी टैग लागू करें और अधिकृत समूहों को "फाइन-ग्रेन्ड रीडर" भूमिका प्रदान करें।
क्यों: यह BigQuery में कॉलम-स्तर की सुरक्षा के लिए मूल, स्केलेबल विधि है। यह अलग-अलग व्यू बनाने और प्रबंधित करने की आवश्यकता के बिना केंद्रीकृत शासन प्रदान करता है।
एक टेबल को फ़िल्टर करें ताकि उपयोगकर्ता केवल उन पंक्तियों को देख सकें जो उनसे संबंधित हैं (जैसे, बिक्री प्रबंधक केवल अपने स्वयं के क्षेत्र का डेटा देखते हैं)।
टेबल पर एक Row-Level Security Policy बनाएँ जो `SESSION_USER()` के आधार पर पंक्तियों को फ़िल्टर करती है।
क्यों: क्वेरी समय पर गतिशील, प्रेडिकेट-आधारित फ़िल्टरिंग प्रदान करता है। यह प्रत्येक उपयोगकर्ता या भूमिका के लिए एक अधिकृत दृश्य बनाने की तुलना में अधिक सुरक्षित और प्रबंधनीय है।
विनियमों का पालन करने के लिए एक निर्दिष्ट प्रतिधारण अवधि के बाद BigQuery टेबल से डेटा को स्वचालित रूप से हटा दें (जैसे, 7 साल से अधिक पुराने डेटा को हटा दें)।
टाइम-सीरीज़ डेटा के लिए, टाइम-पार्टिशन्ड टेबल पर पार्टिशन एक्सपिरेशन सेट करें। अन्य टेबलों के लिए, डिफ़ॉल्ट टेबल एक्सपिरेशन सेट करें।
क्यों: यह एक अंतर्निहित, "सेट-एंड-फॉरगेट" सुविधा है जो मैन्युअल क्लीनअप स्क्रिप्ट या बाहरी ऑर्केस्ट्रेशन के बिना अनुपालन सुनिश्चित करती है।
एक BigQuery टेबल को गलती से संशोधित या हटा दिया गया था।
घटना से पहले जिस समय बिंदु पर टेबल मौजूद थी, उसे क्वेरी करने के लिए BigQuery Time Travel का उपयोग करें, `FOR SYSTEM_TIME AS OF` का उपयोग करके।
क्यों: BigQuery स्वचालित रूप से टेबल डेटा का 7-दिवसीय इतिहास रखता है। यह बैकअप से पुनर्स्थापित करने की आवश्यकता के बिना टाइम ट्रैवल विंडो के भीतर तत्काल रिकवरी की अनुमति देता है।
पूरे संगठन में डेटा संपत्तियों (BigQuery, GCS) को खोजें, प्रबंधित करें, सुरक्षित करें और मॉनिटर करें।
Dataplex का उपयोग करें।
क्यों: Dataplex एक इंटेलिजेंट डेटा फैब्रिक के रूप में कार्य करता है, जो विभिन्न डेटा साइलो में डेटा गवर्नेंस, गुणवत्ता, वंश, खोज और जीवनचक्र प्रबंधन के लिए एक एकीकृत फलक प्रदान करता है।
समझें और कल्पना करें कि डेटा स्रोत सिस्टम से, परिवर्तन जॉब्स के माध्यम से, अंतिम रिपोर्टिंग टेबलों तक कैसे प्रवाहित होता है।
Dataplex Data Lineage का उपयोग करें।
क्यों: प्रभाव विश्लेषण और ऑडिटिंग के लिए डेटा निर्भरताओं का एक इंटरैक्टिव, ग्राफ-आधारित दृश्य प्रदान करने के लिए BigQuery, Data Fusion और Composer लॉग से वंशावली जानकारी को स्वचालित रूप से कैप्चर करता है।
महत्वपूर्ण वर्कलोड के लिए अनुमानित क्वेरी प्रदर्शन और लागत सुनिश्चित करें, अन्य उपयोगकर्ताओं से "स्लॉट विवाद" से बचें।
BigQuery एडिशन (क्षमता-आधारित मूल्य निर्धारण) खरीदें। विशिष्ट प्रोजेक्ट या फ़ोल्डरों को स्लॉट का एक पूल समर्पित करने के लिए आरक्षण बनाएँ।
क्यों: साझा, ऑन-डिमांड पूल से एक समर्पित कंप्यूट क्षमता में स्विच करता है, महत्वपूर्ण जॉब्स के लिए संसाधनों की गारंटी देता है और अनुमानित बिलिंग प्रदान करता है।
BigQuery और Cloud Storage में सभी डेटा संपत्तियों को स्कैन करें ताकि PII और अन्य संवेदनशील डेटा को स्वचालित रूप से पहचाना और वर्गीकृत किया जा सके।
एक Cloud Data Loss Prevention (DLP) खोज स्कैन जॉब कॉन्फ़िगर करें।
क्यों: Cloud DLP बड़े पैमाने पर संवेदनशील डेटा खोजने के लिए सैकड़ों पूर्वनिर्धारित डिटेक्टरों का उपयोग करता है। यह शासन के लिए स्वचालित रूप से पॉलिसी टैग लागू करने के लिए Data Catalog के साथ एकीकृत हो सकता है।
एक कंटेनरयुक्त एप्लिकेशन (GKE या Cloud Run पर) को सेवा खाता कुंजियों का प्रबंधन किए बिना BigQuery पर सुरक्षित रूप से प्रमाणित करने की आवश्यकता है।
Workload Identity का उपयोग करें।
क्यों: सेवा-से-सेवा प्रमाणीकरण के लिए अनुशंसित सर्वोत्तम अभ्यास। यह एक Kubernetes सेवा खाते को एक GCP IAM सेवा खाते से मैप करता है, जिसमें अल्पकालिक, स्वचालित रूप से घुमाए गए टोकन का उपयोग किया जाता है।
अनुपालन के लिए, उन सभी उपयोगकर्ताओं की रिपोर्ट जनरेट करें जिन्होंने पिछले 90 दिनों में एक संवेदनशील BigQuery टेबल को क्वेरी किया है।
BigQuery डेटा एक्सेस ऑडिट लॉग को सक्षम और क्वेरी करें, जिन्हें विश्लेषण के लिए BigQuery डेटासेट पर रूट किया जा सकता है।
क्यों: डेटा एक्सेस लॉग यह एक अपरिवर्तनीय रिकॉर्ड प्रदान करते हैं कि किसने किस डेटा को कब एक्सेस किया। वे सुरक्षा और अनुपालन ऑडिट के लिए आवश्यक हैं लेकिन उन्हें स्पष्ट रूप से सक्षम किया जाना चाहिए।
पहचानें कि BigQuery की उच्च लागत के लिए कौन से उपयोगकर्ता या क्वेरी जिम्मेदार हैं।
`INFORMATION_SCHEMA.JOBS` व्यू को क्वेरी करें।
क्यों: यह मेटाडेटा व्यू चलाए गए हर क्वेरी के लिए विस्तृत जानकारी प्रदान करता है, जिसमें उपयोगकर्ता, बिल किए गए बाइट्स और खपत किए गए स्लॉट शामिल हैं, जिससे सटीक लागत एट्रिब्यूशन और विश्लेषण सक्षम होता है।
जटिल विश्लेषणात्मक गणनाएँ करें जैसे रनिंग टोटल, समूहों के भीतर रैंकिंग (जैसे, प्रति श्रेणी शीर्ष N), या एक पंक्ति की पिछली पंक्ति से तुलना करना।
BigQuery SQL विंडो फ़ंक्शन (`SUM() OVER (...)`, `RANK() OVER (...)`, `LAG() OVER (...)`) का उपयोग करें।
क्यों: यह वर्तमान पंक्ति से किसी तरह संबंधित टेबल पंक्तियों के एक सेट पर गणना करने के लिए मानक और सबसे कुशल SQL विधि है।
SQL नहीं लिखने वाले व्यावसायिक उपयोगकर्ताओं के लिए BigQuery डेटा पर इंटरैक्टिव, स्वतः-रिफ्रेशिंग डैशबोर्ड बनाएँ और साझा करें।
Looker Studio का उपयोग करें।
क्यों: यह मूल, निःशुल्क GCP विज़ुअलाइज़ेशन टूल है। यह सीधे BigQuery से जुड़ता है और एक साधारण लिंक के माध्यम से साझा करने की अनुमति देता है, उपयोगकर्ता पहुंच से डेटा स्रोत क्रेडेंशियल को अलग से प्रबंधित करता है।
व्यावसायिक विश्लेषकों को BigQuery में टेराबाइट्स डेटा का विश्लेषण करने के लिए परिचित स्प्रेडशीट टूल (पिवट टेबल, चार्ट, फ़ार्मूले) का उपयोग करने में सक्षम करें।
Connected Sheets का उपयोग करें।
क्यों: Google Sheets से BigQuery तक एक लाइव कनेक्शन प्रदान करता है। सभी प्रोसेसिंग और गणना BigQuery में होती है, जिससे पारंपरिक स्प्रेडशीट की आकार और प्रदर्शन सीमाएं बाईपास हो जाती हैं।
एक Looker Studio डैशबोर्ड जो बड़े, जटिल एग्रीगेशन को क्वेरी करता है वह धीमा और महंगा है।
एग्रीगेशन को पहले से कंप्यूट करने के लिए एक BigQuery Materialized View बनाएँ। Looker Studio डेटा स्रोत को Materialized View पर इंगित करें।
क्यों: Materialized views महंगी क्वेरी परिणामों को पहले से गणना और कैश करती हैं। यह डैशबोर्ड प्रदर्शन में नाटकीय रूप से सुधार करता है और दोहराव वाले वर्कलोड के लिए क्वेरी लागत को कम करता है।
BigQuery में मौजूद डेटा का उपयोग करके एक मशीन लर्निंग मॉडल (जैसे, वर्गीकरण, रिग्रेशन या पूर्वानुमान के लिए) बनाएँ, प्रशिक्षित करें और परोसें।
BigQuery ML (BQML) का उपयोग करें।
क्यों: यह उपयोगकर्ताओं को मानक SQL `CREATE MODEL` सिंटैक्स के साथ मॉडल को प्रशिक्षित करने की अनुमति देकर ML का लोकतंत्रीकरण करता है। मॉडल BigQuery के भीतर रहता है और चलता है, तैनाती और पूर्वानुमान को सरल बनाता है।
ऐतिहासिक टाइम-सीरीज़ डेटा के आधार पर भविष्य के व्यावसायिक मेट्रिक्स (जैसे, बिक्री, मांग) का पूर्वानुमान लगाएं।
`ARIMA_PLUS` मॉडल प्रकार के साथ BigQuery ML का उपयोग करें।
क्यों: `ARIMA_PLUS` टाइम-सीरीज़ पूर्वानुमान के लिए एक विशेष रूप से निर्मित BQML मॉडल है जो स्वचालित रूप से ट्रेंड्स, मौसमीता, छुट्टियों और विसंगति का पता लगाने का प्रबंधन करता है।
एक BigQuery क्वेरी जो एक बहुत बड़ी फैक्ट टेबल (TBs) को एक छोटी डाइमेंशन टेबल (<100MB) के साथ जोड़ती है वह धीमी है।
सुनिश्चित करें कि BigQuery एक ब्रॉडकास्ट जॉइन का उपयोग कर रहा है। जबकि यह अक्सर स्वचालित होता है, आप क्वेरी प्लान की जांच कर सकते हैं या यदि आवश्यक हो तो `JOIN` संकेत का उपयोग कर सकते हैं।
क्यों: एक ब्रॉडकास्ट जॉइन पूरी छोटी टेबल को प्रत्येक प्रोसेसिंग स्लॉट पर भेजता है, जिससे नेटवर्क पर बड़ी टेबल का महंगा और धीमा डेटा शफल बचता है।
मॉडल ड्रिफ्ट को रोकने के लिए एक BigQuery ML मॉडल को नए डेटा पर नियमित रूप से (जैसे, साप्ताहिक) पुनः प्रशिक्षित करने की आवश्यकता है।
एक `CREATE OR REPLACE MODEL` स्टेटमेंट चलाने के लिए BigQuery Scheduled Query का उपयोग करें।
क्यों: यह BQML रिट्रेनिंग को स्वचालित करने का सबसे सरल, सबसे एकीकृत तरीका है। इसे Composer या Cloud Functions जैसी किसी बाहरी सेवा की आवश्यकता नहीं होती है।
एक कोलैबोरेटिव फ़िल्टरिंग रिकमेंडेशन सिस्टम बनाएँ (जैसे, "जिन उपयोगकर्ताओं ने X खरीदा उन्होंने Y भी खरीदा")।
`MATRIX_FACTORIZATION` मॉडल प्रकार के साथ BigQuery ML का उपयोग करें।
क्यों: यह मॉडल विशेष रूप से उपयोगकर्ता-आइटम इंटरैक्शन डेटा के आधार पर रिकमेंडेशन कार्यों के लिए डिज़ाइन किया गया है।