GCP 副数据工程师 (ADP):全新的入门级数据认证
ADP 于 2024 年底推出,作为 GCP 副级数据认证,低于 PDE。本文将介绍其涵盖内容以及适合人群。
多年来,GCP 数据认证路径存在一个空白。你或者选择 CDL(基础、概念性,无 SQL),或者直接考取 Professional Data Engineer (PDE),后者要求数年的生产数据工作经验,并深入涉及 Dataflow 内部机制、模式设计以及数据资源上的 IAM,这对于没有准备的考生来说是很大的挑战。中间一直处于空缺状态。
2024 年底,Google 推出了 Associate Data Practitioner (ADP) 填补了这一空白。这是一项价值 125 美元的副级考试,约 50 道题,时长两小时,直接面向在 GCP 数据领域有一到两年经验的人士--初级数据工程师、分析师兼工程师、向数据管道发展的 BI 从业者,以及学习 GCP 堆栈的 AWS/Azure 数据专业人士。
ADP 实际考察内容
考试目标于 2024 年 10 月发布,并于 2025 年年中进行了小幅修订。包含五个领域:
- 数据摄取与处理。 将 Cloud Storage 用作 landing zone,BigQuery 加载(批处理和流式处理),Pub/Sub 用于事件摄取,Dataflow 模板(非 Dataflow 内部机制--那是 PDE 的范畴),Datastream 用于 CDC。
- 数据存储与建模。 BigQuery 数据集、分区、聚类、物化视图、表类型(托管、外部、BigLake),Cloud Storage 类别,针对特定工作负载在 BigQuery / Cloud SQL / Firestore / Bigtable 之间进行选择。
- 数据编排。 Dataform 用于 SQL 转换(GCP 上现代的 dbt 等效产品--Google 于 2020 年收购,现为第一方产品),基础级别的 Cloud Composer(托管 Airflow),Cloud Scheduler。
- 数据分析与可视化。 BigQuery SQL--实际的 SQL,包括窗口函数、连接、BigQuery 的数组/结构体特性--Looker Studio、Looker(是的,题库区分了它们,这确实令人困惑),基本的 Connected Sheets。
- 运维、监控与安全。 数据资源的 IAM(数据集级别 vs. 表级别 vs. 行级别 vs. 列级别访问),Cloud DLP,基本的 Dataplex 治理,使用 BigQuery 查询计划 / EXPLAIN 进行查询优化。
还有很大一部分是“哪种服务适合哪种工作负载”--这类决策问题是您期望一名副级数据专业人士能够处理的。
ADP 与 PDE 的比较
| ADP | PDE | |
|---|---|---|
| 级别 | 副级 | 专业级 |
| 费用 | 125 美元 | 200 美元 |
| 时长 | 2小时, 约 50 题 | 2小时, 约 50 题 |
| 有效期 | 3 年 | 2 年 |
| 经验要求 | GCP 数据经验约 1 年 | 行业经验约 3 年, GCP 经验 1 年以上 |
| Dataflow 深度 | 模板和基本概念 | 自定义管道、窗口处理、延迟数据、Exactly-once 语义 |
| BigQuery 深度 | 分区、聚类、基本优化 | 容量规划、BI Engine、Slot 预留、查询计划深入分析 |
| 场景复杂性 | 单管道、单领域 | 多管道、多领域,包含成本 / SLA / 合规性约束 |
ADP 是通向 PDE 的一个清晰的垫脚石。两者的考试目标有足够的重叠,因此准备工作可以累积。然而,如果你目标是高级数据工程职位,ADP 并不能替代 PDE。招聘人员知道其中的区别;levels.fyi 上标记为 PDE 的职位数据也比标记为 ADP 的职位高一个级别,即使两者同时出现在招聘启事中(这种情况很少见--ADP 太新了,目前还无法清晰地进行筛选)。
谁应该考取 ADP
具有两年以内 GCP 经验的初级数据工程师和分析师兼工程师。 ADP 是适合您当前级别的正确证书。第一年不要好高骛远去考 PDE;该考试旨在对没有实际工作经验的人不友好。
向数据管道发展的分析师。 如果您一直在 Looker 中编写 SQL,并开始负责编排和摄取层,ADP 正是您需要的结构化课程。Dataform + BigQuery + Composer 三件套是现代 GCP 分析师兼工程师堆栈。
学习 GCP 的 AWS / Azure 数据工程师。 如果您已经了解 dbt + Snowflake / Redshift / Synapse,ADP 是将这些思维模型映射到 BigQuery + Dataform + Looker 的最快路径。两到三周的集中学习,您就能高效工作。
从非数据工程领域转行的人士。 如果您是一名转向数据领域的后端工程师,ADP 将为您提供 GCP 特定的数据词汇,而无需强迫您深入学习 PDE 级别的分布式系统内部机制。
谁应该跳过 ADP
如果您已经从事 GCP 数据工作三年或更长时间,并且对 Dataflow 自定义管道、Slot 预留以及组织级别的 BigQuery 成本优化驾轻就熟,那么请跳过 ADP,直接考取 PDE。ADP 不会为 PDE 无法涵盖的高级简历增添任何价值。
如果您是一名偶尔编写 SQL 但不负责数据基础设施的软件工程师,那么您根本不需要数据认证。ACE 或 PCA 涵盖了 GCP 的基础知识,您的数据工作无需单独的信号。
6 周备考大纲
假设每周学习 8 小时,并有一年的 GCP 接触经验,即使并非专门从事数据工作。
第 1 周:BigQuery 基础。 数据集、表(托管 / 外部 / BigLake)、分区与聚类、BigQuery 查询计划、Slot 模型基础、按需 vs. 容量定价。实验:加载公共数据集,编写一个非 trivial 的查询,查看查询计划,然后添加分区并重新测量。
第 2 周:摄取模式。 Pub/Sub 用于事件流,Dataflow 模板用于批处理 / 流式 ETL,Datastream 用于数据库 CDC,BigQuery 流式插入,Storage Transfer Service。构建一个端到端管道:Pub/Sub → Dataflow 模板 → BigQuery,并带有一个 Cloud Storage 暂存存储桶。
第 3 周:转换与编排。 Dataform--此认证重点强调而 PDE 不太重视的主要内容。SQLX、定义、断言、依赖项、计划发布。Cloud Composer 用于非 SQL 编排。针对您在第 1 周加载的数据构建一个 Dataform 项目。
第 4 周:分析与可视化。 Looker Studio(免费,侧重仪表板)vs. Looker(付费,语义层 + LookML)。Connected Sheets。BigQuery BI Engine 用于加速仪表板。基于您第 3 周的转换成果构建一个 Looker Studio 仪表板。
第 5 周:治理与运维。 数据集 / 表 / 行 / 列级别的 IAM,授权视图,Cloud DLP 用于 PII 检测和屏蔽,Dataplex(数据架构 / 治理),审计日志。使用 BigQuery information_schema 视图进行成本监控。本周将大量阅读文档。
第 6 周:模拟考试。 三到五次完整计时练习。CertLabPro 题库、Whizlabs 和官方 Cloud Skills Boost 模拟考试。目标是在安排考试前达到 80% 以上。
薪资信号
ADP 太新了,还没有清晰的薪资数据。最接近的参考是 BigQuery / Looker 分析师兼工程师职位,在美国主要大城市,其基本薪资在 10 万至 14 万美元之间(levels.fyi 2025-2026 分析工程师数据,Built In 范围,BLS OEWS 15-1242 数据库管理员和架构师的更广泛范围)。为该职位添加 ADP 证书可能会使您的内部薪资增加 5 千到 1 万美元;更大的提升来自该证书帮助您真正转型为数据工程师,其基本薪资范围可攀升至 13 万至 18 万美元。PDE 会使薪资数字更高,但 12-18 个月内先 ADP 再 PDE 是一个合理的职业发展路径,也可能比在没有经验支撑的情况下急于考取 PDE 更为实际。
总结
ADP 弥补了 GCP 数据路径中的一个真实空白。如果您是 GCP 数据领域中的初级到中级从业者,这便是 2026 年值得考取的认证。它是一项公平的考试,备考材料清晰,并且该证书对应着实际的职业级别,而非仅仅是理想化的追求。
当您准备好进行练习时,可以在 CertLabPro 上浏览 ADP 题库;如果您已经准备充分,可以开始计时考试。接下来瞄准 PDE 吗?PDE 题库在这里。