动手实验室 — DEA-C01 AWS Certified Data Engineer Associate

概述

先决条件

步骤

1. 1.选择我们的 Terraform 版本和 AWS 区域

   标准开场。Glue 和 Athena 是区域服务——选择您的原始数据所在的区域，因为在 PB 级别的数据传输中，跨区域数据传输费用会迅速增加。我们默认使用 us-east-1。

   复制

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       aws = {
         source  = "hashicorp/aws"
         version = "~> 5.60"
       }
     }
   }
   
   provider "aws" {
     region = "us-east-1"
   
     default_tags {
       tags = {
         Project   = "certlabpro-dea-c01"
         ManagedBy = "terraform"
       }
     }
   }

2. 2.构建一个具有成本感知生命周期策略的数据湖存储桶

   配置服务：

   • Amazon S3

   S3 存储桶是数据湖的整个基础。DEA-C01 专门测试存储类生命周期 — 您可以通过将冷数据随着时间的推移从 Standard → Standard-IA → Glacier Flexible → Glacier Deep Archive 进行转换，从而节省 80% 以上的成本。我们启用加密，锁定公共访问，并设置一个三层生命周期规则，该规则反映了 DEA-C01 最常测试的成本模式。

   转换时间是 30 天 → IA，90 天 → Glacier Flexible Retrieval，180 天 → Deep Archive。这些数字是考试的最低要求（您不能在 30 天前转换为 IA — 这是 S3 的硬性限制，DEA-C01 会对此进行测试）。对于混合了近期和存档数据的数据湖，此生命周期可在不更改应用程序的情况下节省 60-90% 的存储成本。

   复制

   resource "aws_s3_bucket" "lake" {
     bucket_prefix = "certlabpro-dea-c01-"
   }
   
   resource "aws_s3_bucket_public_access_block" "lake" {
     bucket = aws_s3_bucket.lake.id
   
     block_public_acls       = true
     block_public_policy     = true
     ignore_public_acls      = true
     restrict_public_buckets = true
   }
   
   resource "aws_s3_bucket_server_side_encryption_configuration" "lake" {
     bucket = aws_s3_bucket.lake.id
   
     rule {
       apply_server_side_encryption_by_default {
         sse_algorithm = "AES256"
       }
     }
   }
   
   resource "aws_s3_bucket_lifecycle_configuration" "lake" {
     bucket = aws_s3_bucket.lake.id
   
     rule {
       id     = "tier-cold-data"
       status = "Enabled"
   
       filter { prefix = "raw/" }
   
       transition {
         days          = 30
         storage_class = "STANDARD_IA"
       }
   
       transition {
         days          = 90
         storage_class = "GLACIER"
       }
   
       transition {
         days          = 180
         storage_class = "DEEP_ARCHIVE"
       }
     }
   }

3. 3.创建一个 Glue Data Catalog 数据库来存储我们的模式

   配置服务：

   • AWS Glue

   Glue Data Catalog 是所有其他 AWS 分析服务读取的中央元数据存储 — Athena、EMR、Redshift Spectrum、Lake Formation 和 SageMaker Feature Store 都共享这一个目录。DEA-C01 无情地测试这种中央目录模型：您只需预置一次目录，账户中的每个分析界面都会自动使用它。

   Glue 中的 database 是一个命名空间（可以把它想象成 PostgreSQL 中的 schema）；table 是描述如何将 S3 中的对象读取为结构化数据的元数据。我们在此处创建数据库；第 4 步中的爬虫将在其下填充表。

   复制

   resource "aws_glue_catalog_database" "main" {
     name        = "certlabpro_dea_c01"
     description = "Glue Catalog database for the certlabpro DEA-C01 lab."
   
     location_uri = "s3://${aws_s3_bucket.lake.bucket}/raw/"
   }

4. 4.添加一个 Glue 爬虫，从 S3 中登陆的对象发现模式

   配置服务：

   • AWS Glue
   • AWS IAM

   Glue 爬虫会遍历 S3 路径，从文件内容中推断列名和类型，并将模式写入第 3 步中的目录数据库。每当有新文件落地时，您重新运行爬虫，表就会自动获取新的分区或模式演变。DEA-C01 在“数据存储和管理”领域测试这种发现模式 — 这是数据工程师手动编写 DDL 与让 Glue 完成此工作的区别。

   我们附加的 IAM 角色赋予爬虫从第 2 步的存储桶中读取并向第 3 步的目录中写入的权限。AWS 发布了一个名为 AWSGlueServiceRole 的托管策略，涵盖了大部分功能；我们附加它，并为我们的特定存储桶添加内联 S3 读取访问权限。我们特意没有在这里设置 schedule — 如果您希望每天刷新目录，可以稍后添加 schedule = "cron(0 5 * * ? *)"。

   复制

   resource "aws_iam_role" "glue_crawler" {
     name = "certlabpro-dea-c01-glue-crawler"
   
     assume_role_policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect    = "Allow"
         Principal = { Service = "glue.amazonaws.com" }
         Action    = "sts:AssumeRole"
       }]
     })
   }
   
   resource "aws_iam_role_policy_attachment" "glue_service" {
     role       = aws_iam_role.glue_crawler.name
     policy_arn = "arn:aws:iam::aws:policy/service-role/AWSGlueServiceRole"
   }
   
   resource "aws_iam_role_policy" "glue_lake_read" {
     name = "read-lake-bucket"
     role = aws_iam_role.glue_crawler.id
   
     policy = jsonencode({
       Version = "2012-10-17"
       Statement = [{
         Effect   = "Allow"
         Action   = ["s3:GetObject", "s3:ListBucket"]
         Resource = [aws_s3_bucket.lake.arn, "${aws_s3_bucket.lake.arn}/*"]
       }]
     })
   }
   
   resource "aws_glue_crawler" "raw_data" {
     name          = "certlabpro-dea-c01-raw-data"
     database_name = aws_glue_catalog_database.main.name
     role          = aws_iam_role.glue_crawler.arn
   
     s3_target {
       path = "s3://${aws_s3_bucket.lake.bucket}/raw/"
     }
   
     schema_change_policy {
       update_behavior = "UPDATE_IN_DATABASE"
       delete_behavior = "LOG"
     }
   }

5. 5.添加一个 Athena 工作组，具有限制的查询成本和专用的结果存储桶

   配置服务：

   • Amazon Athena

   Athena 使用 SQL 查询第 3-4 步中的目录 — 无服务器，按扫描的 TB 量付费。DEA-C01 的“数据操作”领域严格测试了 Athena 的两个特定属性：每个查询的数据扫描限制（此处限制为 1 GB，以防止失控查询意外扫描 100 TB），以及独立的结果存储桶（Athena 将查询输出写回 S3；将结果与源存储桶混合是考试中反复出现的反模式）。

   工作组是治理的单位 — 您可以有一个具有严格扫描限制的 production 工作组，以及一个具有更高限制的 analytics-power-users 工作组，然后将 IAM 主体附加到任何适合的工作组。随着最后这部分的就位，数据湖基础已完成：数据落在 s3://<bucket>/raw/ 中，第 4 步中的爬虫对其进行编目，Athena 在此工作组设置的成本防护栏内对其进行查询。

   复制

   resource "aws_s3_bucket" "athena_results" {
     bucket_prefix = "certlabpro-dea-c01-athena-results-"
   }
   
   resource "aws_s3_bucket_public_access_block" "athena_results" {
     bucket = aws_s3_bucket.athena_results.id
   
     block_public_acls       = true
     block_public_policy     = true
     ignore_public_acls      = true
     restrict_public_buckets = true
   }
   
   resource "aws_athena_workgroup" "main" {
     name  = "certlabpro-dea-c01"
     state = "ENABLED"
   
     configuration {
       enforce_workgroup_configuration    = true
       publish_cloudwatch_metrics_enabled = true
       bytes_scanned_cutoff_per_query     = 1073741824 # 1 GB per query — runaway-query guardrail
   
       result_configuration {
         output_location = "s3://${aws_s3_bucket.athena_results.bucket}/output/"
   
         encryption_configuration {
           encryption_option = "SSE_S3"
         }
       }
     }
   }

清理