Ăltima revisĂŁo: maio de 2026
Uma referĂȘncia rĂĄpida dos padrĂ”es arquiteturais que o exame DEA-C01 avalia. Leia de cima a baixo ou pule para uma seção.
Escolha um serviço Kinesis para ingestão de streaming.
Processamento controlado pelo consumidor em sub-segundos â Kinesis Data Streams. Entrega totalmente gerenciada para S3/Redshift/OpenSearch com conversĂŁo de formato opcional â Kinesis Data Firehose.
Por quĂȘ: O KDS retĂ©m registros (24h-365d) e suporta mĂșltiplos consumidores. O Firehose nĂŁo tem replay; troca replay por entrega zero-ops.
O stream atinge erros de ProvisionedThroughputExceeded durante o pico.
Refragmentar (Reshard). Cada shard suporta ingestĂŁo de 1 MB/s ou 1.000 registros/s, saĂda de 2 MB/s. Use chaves de partição uniformes; habilite Enhanced Fan-Out para >2 MB/s por consumidor.
Por quĂȘ: Chaves de partição "quentes" concentram o trĂĄfego em um shard. Chaves aleatĂłrias ou baseadas em hash distribuem a carga.
A carga de trabalho de streaming Ă© irregular e imprevisĂvel; o resharding manual Ă© uma dor operacional.
Kinesis Data Streams no modo de capacidade sob demanda. Escala automaticamente para 200 MB/s por padrĂŁo; pague por volume de dados.
MĂșltiplos consumidores lendo o mesmo stream atingem o limite de leitura de 2 MB/s/shard.
Enhanced Fan-Out. Cada consumidor obtém 2 MB/s/shard dedicados via SubscribeToShard HTTP/2 baseado em push.
Maximize a taxa de transferĂȘncia de ingestĂŁo do aplicativo produtor.
Kinesis Producer Library (KPL) com agregação + coleção. Agrupa mĂșltiplos registros de usuĂĄrio em um registro Kinesis de atĂ© 1 MB; reduz o custo de PUT.
Por quĂȘ: PutRecord de registro Ășnico Ă© limitado por taxa e caro a 50k eventos/s. KPL agrega no lado do cliente.
Armazenar clickstream JSON no S3 como Parquet, particionado por tempo de evento.
Firehose com conversĂŁo de formato de registro (JSON â Parquet) usando tabela do Glue Data Catalog + particionamento dinĂąmico no timestamp do evento.
Por quĂȘ: Parquet + particionamento reduz drasticamente o custo de varredura do Athena. O particionamento dinĂąmico evita uma etapa ETL separada.
Alguns registros falham na transformação ou entrega do Firehose; é preciso capturå-los para replay.
Configure backup do S3 com `AllData` ou `FailedDataOnly`. Os registros com falha sĂŁo enviados para o prefixo configurado com metadados de erro.
Garanta que nĂŁo haja perda de dados no MSK se uma AZ de broker falhar.
Fator de replicação ℠3 em 3 AZs e `min.insync.replicas=2` com `acks=all` do produtor. Habilite Multi-AZ via KRaft sem ZooKeeper ou posicionamento de broker em 3 AZs.
Realize streaming do MSK para S3, OpenSearch ou RDS sem gerenciar um cluster Kafka Connect.
MSK Connect com conector gerenciado (Confluent S3 Sink, Debezium para CDC). Autoescala workers por WCU.
O tópico armazena a versão mais recente de um registro por chave; versÔes antigas podem ser descartadas.
Defina a polĂtica do tĂłpico `cleanup.policy=compact`. O Kafka retĂ©m o valor mais recente para cada chave; registros mais antigos com a mesma chave sĂŁo elegĂveis para compactação.
TransferĂȘncia semanal recorrente de 10 TB de NFS on-premise para S3 via Direct Connect.
AWS DataSync com agente on-premise + tarefa agendada. Verifica a integridade dos dados, suporta transferĂȘncias incrementais, paralelo.
Por quĂȘ: O DataSync Ă© mais rĂĄpido que o aws-cli sync e lida com limitação de largura de banda, novas tentativas e verificação nativamente.
Puxar dados de APIs SaaS (Salesforce, ServiceNow, Zendesk) para o S3 em um cronograma.
AWS AppFlow. Conectores gerenciados, OAuth tratado, agendado ou acionado por evento, grava Parquet no S3.
Replicar alteraçÔes contĂnuas de um SQL Server on-premise para Aurora MySQL com tempo de inatividade mĂnimo.
AWS DMS com carga completa + tarefa CDC. Use o Schema Conversion Tool (SCT) para conversĂŁo heterogĂȘnea de esquema/cĂłdigo antes do DMS.
Instùncia de replicação do DMS falha - a replicação é interrompida.
Habilite Multi-AZ na instĂąncia de replicação. Standby sĂncrono em outra AZ; failover automĂĄtico.
Precisa de anĂĄlises quase em tempo real em dados OLTP Aurora sem pipeline ETL.
Integração Aurora zero-ETL com Redshift. Replicação contĂnua de dados Aurora para Redshift; as consultas veem novos dados em segundos.
Por quĂȘ: Elimina pipelines DMS / Glue / CDC customizados para o caso de uso de OLTP para data warehouse.
Mover 100 TB de arquivo histĂłrico de on-premise para S3; largura de banda limitada.
AWS Snowball Edge Storage Optimized. Dispositivo fĂsico enviado ao local; copiar dados; enviar de volta.
O JSON de origem tem arrays aninhados; a anĂĄlise relacional downstream precisa de linhas achatadas.
Transformação `Relationalize` do Glue PySpark (ou `explode()` em DataFrame) achata arrays aninhados em linhas/tabelas separadas.
O Glue Crawler infere tipos ambĂguos (`choice<int,string>`) de dados CSV bagunçados.
Aplique a transformação `ResolveChoice` - converta para tipo especĂfico ou projete para struct. Ou corrija na origem, aplicando o esquema.
O job ETL do Glue Ă© executado por hora em dados S3 crescentes; precisa processar apenas novos arquivos.
Habilite os bookmarks de job do Glue. O Glue rastreia arquivos/partiçÔes processados e os ignora em novas execuçÔes.
Por quĂȘ: Evita reprocessar todo o conjunto de dados. NecessĂĄrio para pipelines ETL incrementais.
O job Spark do Glue falha com OutOfMemoryError no driver durante grandes agregaçÔes.
Mude para workers G.2X ou G.4X (mais memĂłria do driver) ou habilite `--enable-glue-datacatalog` para reduzir dados embaralhados.
Execute Spark Structured Streaming contĂnuo contra uma fonte Kinesis com infraestrutura gerenciada.
Job ETL de streaming do AWS Glue. Spark Structured Streaming por trĂĄs dos panos; checkpointing para S3.
Um analista de negĂłcios precisa limpar e transformar dados sem escrever cĂłdigo.
AWS Glue DataBrew. TransformaçÔes baseadas em receita visual (mais de 250), profiling, linhagem. SaĂda para S3, Redshift, RDS.
Execute o job ETL do Glue somente depois que o Crawler atualizar com sucesso o Data Catalog.
Fluxo de trabalho do Glue com gatilhos condicionais. Sucesso do Crawler â acionar job ETL. Falha â pular / alarme.
O Crawler infere todas as colunas CSV como `string` - precisa de tipos de data e nĂșmero.
Adicione um classificador Glue personalizado (padrĂŁo Grok ou dica de coluna) antes do crawling. Alternativamente, prĂ©-escreva uma linha de cabeçalho com tipos explĂcitos.
MĂșltiplos produtores/consumidores no Kafka precisam de evolução de esquema sem quebrar uns aos outros.
AWS Glue Schema Registry com regras de compatibilidade (BACKWARD/FORWARD/FULL). Produtores registram esquema; consumidores buscam + validam.
Escolha entre EMR e Glue para Spark ETL.
Spark personalizado de longa duração com ajuste profundo, mĂșltiplos frameworks (Hive, Presto, Flink) â EMR. ETL serverless pago por job com integração Glue Data Catalog â Glue. Spark irregular/imprevisĂvel â EMR Serverless.
Jobs Spark/Hive intermitentes; quer zero operaçÔes de cluster e nenhum recurso de computação ocioso.
EMR Serverless. Pools de capacidade prĂ©-inicializados para inĂcios de baixa latĂȘncia; escala por job; pague por vCPU-hora.
Misturar nĂłs de core on-demand + nĂłs de tarefa spot para EMR otimizado em custo.
Instance Fleets com capacidade alvo por tipo. Frota de core on-demand para estabilidade HDFS; frota de tarefas spot com tipos de instĂąncia diversificados.
Padronizar no Kubernetes; quer que os jobs Spark do EMR compartilhem o cluster com outras cargas de trabalho.
EMR on EKS. Spark Ă© executado como pods no cluster EKS existente; compartilha infraestrutura e roles IAM via IRSA.
Streaming com estado com agregaçÔes em janelas e semùntica de "exactly-once".
Kinesis Data Analytics for Apache Flink. Runtime Flink gerenciado; checkpoints para S3; autoescala.
Transformação leve por registro em um stream Kinesis (<1 ms cada).
Lambda com Event Source Mapping no KDS. Ajuste `BatchSize`, `MaximumBatchingWindowInSeconds` e `ParallelizationFactor`.
Por quĂȘ: Lambda Ă© mais barato que KCL/Glue Streaming para trabalho pequeno por registro.
Um passo do Step Functions ocasionalmente falha devido a throttling transitĂłrio; retentar e depois alertar.
Adicione o bloco `Retry` com `ErrorEquals: ["Lambda.ThrottlingException", "States.TaskFailed"]`, `IntervalSeconds`, `MaxAttempts`, `BackoffRate=2`. Além de `Catch` para um estado de notificação.
Processar 500.000 arquivos JSON em paralelo através de transformação Lambda.
Estado de Map distribuĂdo do Step Functions com `MaxConcurrency` e ItemReader do S3. Distribuição (Fan-out) em milhares de invocaçÔes Lambda paralelas.
DAG complexo com dependĂȘncias entre serviços (Glue + Redshift COPY + Lambda + email) e requisitos de linhagem.
Amazon MWAA (Managed Workflows for Apache Airflow). Operadores Airflow nativos para serviços AWS; sincronização de DAGs via Git.
Precisa reverter as alteraçÔes do DAG se um deploy causar falhas.
Armazene DAGs em bucket S3 versionado + sincronize via versionamento S3. Ou mantenha o repositório DAG no Git com ambiente por branch + sincronização S3 via CI.
Dados brutos "quentes" por 30 dias, acesso ocasional pelos prĂłximos 90 dias, arquivamento por 7 anos.
Ciclo de vida do S3: 0-30 dias Standard, transição aos 30 dias para Standard-IA, transição aos 120 dias para Glacier Flexible Retrieval, expirar após 7 anos.
PadrĂ”es de acesso imprevisĂveis; polĂtica de ciclo de vida manual Ă© a escolha errada.
S3 Intelligent-Tiering. Move automaticamente objetos entre Frequent / Infrequent / Archive Instant Access / Archive / Deep Archive com base no padrão de acesso. Taxa de monitoramento por objeto; sem taxas de recuperação em Frequent/IA.
Consultas Athena em data lake são lentas; a partição tem milhares de arquivos JSON de 1-5 KB.
Compacte arquivos pequenos via job Glue/EMR em arquivos Parquet de ~256 MB. Use `OPTIMIZE` do Iceberg ou compactação Hudi para formatos de tabela gerenciados.
Por quĂȘ: A sobrecarga por arquivo do Athena/Spark domina com arquivos pequenos. O ideal Ă© Parquet de ~128-512 MB.
Um bucket; mĂșltiplas equipes precisam de diferentes padrĂ”es de acesso com escopo de prefixo.
S3 Access Points - endpoint nomeado por equipe com sua prĂłpria polĂtica vinculada a um prefixo. Mais simples do que uma polĂtica de bucket gigante.
Diferentes consumidores precisam de diferentes visualizaçÔes do mesmo objeto S3 (PII redigido, resumido).
S3 Object Lambda Access Point. A solicitação GET invoca uma Lambda que transforma o objeto em tempo real; o consumidor vĂȘ a visualização transformada.
Precisa de transaçÔes ACID, evolução de esquema e time-travel em data lake S3.
Tabelas Apache Iceberg (Glue Catalog + armazenamento S3). Commits atÎmicos, MERGE/UPDATE/DELETE, isolamento de snapshot, evolução de partição.
Por quĂȘ: S3 "append-only" estilo Hive nĂŁo suporta atualizaçÔes em nĂvel de linha. Iceberg/Hudi/Delta resolvem isso.
MĂșltiplos escritores e leitores em uma tabela de data lake; precisa de consistĂȘncia transacional e controle de acesso em nĂvel de linha.
Tabelas governadas pelo Lake Formation (baseadas em Iceberg) com LF-Tags para permissÔes.
Athena, Redshift Spectrum, EMR e Glue ETL precisam de um armazenamento de metadados compartilhado.
AWS Glue Data Catalog. Um Ășnico metastore compatĂvel com Hive consumido por todos os serviços de anĂĄlise.
O cluster Redshift precisa escalar o armazenamento independentemente da computação.
Nós RA3 com armazenamento gerenciado (RMS). Armazenamento suportado por S3; a computação escala separadamente. Necessårio para AQUA, Concurrency Scaling, Federated Queries.
A consulta Redshift filtra frequentemente por `created_at`; varreduras de tabela completa sĂŁo lentas.
Defina uma chave de ordenação em `created_at` (ou uma chave de ordenação composta incluindo `created_at`). O Redshift usa mapas de zona para pular blocos durante a varredura.
Joins frequentes entre `orders` e `order_items`; shuffles de consulta causam lentidĂŁo.
Use a mesma DISTKEY (`order_id`) em ambas as tabelas. Linhas co-localizadas evitam o shuffle de rede durante o join.
Por quĂȘ: A distribuição KEY co-localiza linhas de junção no mesmo nĂł de computação.
Carregar 32 arquivos CSV gzip (~1 GB cada) em um cluster Redshift de 4 nĂłs Ă© lento.
COPY em paralelo a partir de um Ășnico manifesto. Procure por #arquivos = mĂșltiplo da contagem de slices (slices = nĂłs Ă vCPU). 4 nĂłs ra3.xlplus = 8 slices â 32 arquivos = 4 por slice.
Unir 5 TB de dados Parquet "frios" no S3 com tabelas de fatos "quentes" do Redshift; nĂŁo quer carregĂĄ-los.
Redshift Spectrum. Tabelas externas no Glue Catalog; consultas leem o S3 diretamente com a computação do Redshift.
Consultas da equipe de relatĂłrios durante o pico desaceleram as cargas de trabalho ETL; ambas executam no mesmo cluster.
Habilite Concurrency Scaling na fila WLM relevante. O Redshift roteia transparentemente as consultas de estouro para clusters escalados.
A consulta do dashboard une repetidamente 3 tabelas grandes e agrega; a latĂȘncia Ă© alta.
View materializada com atualização automĂĄtica. O Redshift mantĂ©m o resultado prĂ©-computado; a consulta lĂȘ a partir dos dados materializados.
Carga de trabalho analĂtica intermitente; cluster provisionado fica ocioso.
Amazon Redshift Serverless. Auto-provisiona e escala RPUs por carga de trabalho; pague por RPU-hora. Zero ops.
Precisa unir dados do Redshift com dados Aurora MySQL em tempo real sem ETL.
Redshift Federated Queries. CRIE EXTERNAL SCHEMA apontando para Aurora; as consultas empurram predicados pela conexĂŁo RDS ativa.
O dashboard une pedidos + clientes + produtos em cada renderização; o esquema em estrela é muito lento.
Desnormalize para uma tabela de fatos ampla ou view materializada. Cargas de trabalho de BI favorecem joins em tempo de leitura resolvidos em tempo de escrita.
PartiçÔes S3 por `ano/mĂȘs/dia/hora`; `MSCK REPAIR TABLE` leva mais de 30 min.
Habilite a projeção de partição do Athena (sem entradas de partição do Glue Catalog). Defina os tipos e intervalos das chaves de partição nas propriedades da tabela.
Por quĂȘ: O Athena calcula as localizaçÔes das partiçÔes no momento da consulta a partir das regras de projeção - sem MSCK, sem limitação da API do Glue.
Converta os resultados da consulta Athena para Parquet, particionados, em uma Ășnica operação.
CREATE TABLE AS SELECT (CTAS) com `format=PARQUET`, `partitioned_by=ARRAY['region']`, `external_location` definido para o prefixo S3 de destino.
O mesmo modelo de consulta Ă© executado com diferentes valores de parĂąmetro ao longo do dia.
DeclaraçÔes preparadas do Athena: `PREPARE`, `EXECUTE` com valores de parùmetro. Evita a re-anålise e oferece uma parametrização limpa.
Leituras de dispositivos IoT; precisa (1) de todas as leituras para um dispositivo em uma janela de tempo, (2) da leitura mais recente por dispositivo.
PK = `device_id`, SK = `timestamp`. GSI com PK = `device_id`, SK = `timestamp` invertido (ou use Query com `ScanIndexForward=false LIMIT 1`).
A tabela de sessĂ”es cresce sem limites; sessĂ”es antigas podem ser excluĂdas apĂłs 7 dias.
Habilite DynamoDB TTL em um atributo `expires_at` epoch. O DynamoDB remove itens expirados sem custo (em ~48h).
Dados de sensor IoT: consultas "quentes" nos Ășltimos 7 dias, consultas ocasionais em 2 anos.
Amazon Timestream. Armazenamento em memória para dados recentes (consultas råpidas); auto-tiering para armazenamento magnético para históricos.
Armazenamento compatĂvel com Cassandra para sĂ©ries temporais de alta escrita com retenção de 90 dias.
Amazon Keyspaces com TTL em linhas. CompatĂvel com Cassandra CQL; capacidade serverless, sem gerenciamento de cluster.
O custo de armazenamento do OpenSearch aumenta; Ăndices antigos raramente consultados.
PolĂticas ISM do OpenSearch segmentam dados: quente â UltraWarm (com suporte S3) â Cold. O tier Cold Ă© desanexado, mas pesquisĂĄvel sob demanda.
Valide que a saĂda ETL tenha â„1.000 linhas e taxa de nulos de coluna <2% antes do consumo downstream.
Regras de qualidade de dados do AWS Glue (DQDL): `RowCount >= 1000`, `Completeness "col" > 0.98`. O pipeline Ă© interrompido em caso de falha da regra.
Framework de qualidade de dados baseado em Spark personalizado no EMR; precisa de verificaçÔes estatĂsticas em nĂvel de coluna.
Biblioteca AWS Deequ no Spark. Defina restriçÔes (`isComplete`, `hasMin`, `isContainedIn`); o Deequ é executado como um job Spark e emite métricas.
Analistas precisam descobrir, solicitar acesso e entender a linhagem de produtos de dados em vĂĄrias contas.
Amazon DataZone. CatĂĄlogo de dados com glossĂĄrio de negĂłcios, fluxos de trabalho de acesso, linhagem; abrange Lake Formation, Redshift, RDS.
Lambda emite métricas de processamento por registro; os custos de CloudWatch PutMetricData são altos.
CloudWatch Embedded Metric Format (EMF). Registre JSON no esquema EMF; o CloudWatch extrai métricas de logs sem custo por PutMetricData.
Encontrar todos os jobs Glue cuja duração excedeu 1 hora nos Ășltimos 7 dias.
Consulta do CloudWatch Logs Insights: `fields @timestamp, @message | filter @message like /JobRunDuration/ | parse @message "duration=*" as d | filter d > 3600`.
O job Glue estĂĄ lento; Ă© preciso saber se estĂĄ com poucos recursos ou com shuffle enviesado.
Habilite métricas + observabilidade de job do Glue. O CloudWatch mostra o uso måximo de DPU, utilização do executor, leitura/escrita de shuffle por estågio.
Os tamanhos dos jobs Spark do Glue variam em 10à entre as execuçÔes; superprovisionado para pequenas entradas.
Habilite o auto scaling do Glue (Glue 3.0+). Workers adicionados/removidos durante a execução com base no paralelismo do estågio.
O Athena varre 5 TB para responder a consultas que tocam um dia de dados; custo muito alto.
Particione por data e garanta que a clåusula WHERE use chaves de partição. Valide com `EXPLAIN` mostrando o particionamento de partição.
Consultas Athena em data lake JSON sĂŁo lentas e caras.
Converta para Parquet (colunar) ou ORC. LĂȘ apenas as colunas necessĂĄrias; a compressĂŁo nativa reduz o custo e o tempo de varredura.
Otimização de custo de cluster EMR sem risco de perda de dados.
NĂłs de core On-Demand (hospedam HDFS / shuffle). NĂłs de tarefa Spot via Instance Fleets com tipos de instĂąncia diversificados.
O cluster Redshift é executado 24/7; o preço on-demand é caro.
Redshift Reserved Nodes (1 ano ou 3 anos, pagamento total/parcial/sem adiantamento). Até ~75% de desconto em comparação com on-demand para cargas de trabalho de estado constante.
Escolha entre Athena, Redshift e EMR para 500 GB diĂĄrios / 50 consultas.
Ad-hoc, infrequente â Athena (por TB escaneado). Dashboards de BI previsĂveis â Redshift (RA3 + Reservados). Spark customizado pesado â EMR.
Por quĂȘ: O Athena cobra por dados escaneados; o Redshift cobra por hora de cluster; o EMR por hora de instĂąncia. Correlacione o faturamento com o padrĂŁo de acesso.
O job Glue é acionado vårias vezes concorrentemente; quer limitar a uma execução por vez.
Defina `MaxConcurrentRuns=1` para o job Glue. Gatilhos subsequentes aguardam; elimina a corrupção de estado concorrente.
As retentativas do Glue ETL produzem linhas de saĂda duplicadas no destino S3.
IdempotĂȘncia: escreva para um prefixo temporĂĄrio por execução, depois renomeie atomicamente via S3 multipart `CompleteMultipartUpload` ou use MERGE de Iceberg/Hudi para upserts.
Uma execução ETL ruim escreveu linhas corrompidas para o Aurora MySQL; recuperar para um ponto no tempo minutos atrås.
Aurora Backtrack (somente compatĂvel com MySQL). Retrocede o cluster para um tempo alvo sem restaurar de um snapshot.
O pipeline sobrescreveu objetos S3 corretos com dados corrompidos.
Versionamento de bucket S3 + restaurar versão anterior. Combine com MFA Delete para evitar expiração acidental de versão.
Automatizar a criação, retenção e cópia entre regiÔes de snapshots EBS para recuperação de desastres.
Amazon Data Lifecycle Manager (DLM) com polĂtica por tag: agendamento, retenção, cĂłpia entre regiĂ”es.
Consumidores MSK ficam atrĂĄs dos produtores; Ă© preciso detectar e alertar.
Métrica `MaxOffsetLag` do CloudWatch por grupo de consumidores. Alarme quando > limite; aumente a contagem de consumidores ou o paralelismo da partição.
Consumidor Kinesis ficando para trĂĄs; quer detectar.
MĂ©trica `GetRecords.IteratorAgeMilliseconds` do CloudWatch. Alarme > 60s geralmente significa consumidores com poucos recursos.
Identificar as consultas Redshift mais lentas da Ășltima hora para ajuste.
Consulte `SVL_QLOG` / `STL_QUERY` / `SYS_QUERY_HISTORY` para as entradas de maior tempo decorrido; use `SVL_QUERY_REPORT` para detalhamento por etapa.
Equipes de vendas devem ver apenas as linhas de suas regiĂ”es atribuĂdas no data lake compartilhado.
Segurança em nĂvel de linha do Lake Formation via filtro de dados: `region IN ('NA', 'EU')` por principal IAM. Tabela Ășnica; visualização filtrada por principal.
Tabela de saĂșde - analistas nĂŁo devem ver as colunas SSN e de diagnĂłstico.
PermissĂ”es em nĂvel de coluna do Lake Formation: GRANT SELECT na tabela EXCETO (`ssn`, `diagnosis_code`).
Muitas equipes + muitas tabelas; concessÔes por tabela são insustentåveis.
LF-Tags do Lake Formation. Marque tabelas/colunas; conceda permissÔes baseadas em tag a principais. Adicionar uma nova tabela apenas precisa da tag correta.
A Conta A tem o data lake; os analistas da Conta B precisam de acesso de leitura a tabelas especĂficas.
Compartilhamento entre contas do Lake Formation via RAM. A Conta A concede permissÔes ao principal/conta IAM da Conta B; B acessa via Athena/Redshift Spectrum.
Segurança em nĂvel de linha dentro do Redshift (nĂŁo Lake Formation).
PolĂticas RLS nativas do Redshift: `CREATE RLS POLICY` com predicado referenciando o contexto da sessĂŁo (`current_user`, `session_role`). Anexe a polĂtica Ă tabela.
A conformidade exige chave gerenciada pelo cliente com trilha de auditoria para criptografia do Redshift.
Cluster Redshift criptografado com chave KMS gerenciada pelo cliente. Rotação de chave habilitada; o CloudTrail captura cada operação de Decrypt contra a CMK.
Criptografar entradas/saĂdas do job Glue ETL com chave gerenciada pela empresa.
Configuração de Segurança do Glue com CMK para S3 + CloudWatch Logs + bookmarks de Job. Role do Glue com `kms:Decrypt`/`Encrypt` na chave.
Descobrir e classificar PII (nomes, SSNs, e-mails) presentes no data lake S3.
Amazon Macie. Descoberta de dados sensĂveis baseada em ML no S3; produz descobertas com localização do objeto e tipo de PII.
Auditar cada GetObject / PutObject do S3 no bucket do data lake.
Eventos de dados do CloudTrail para o bucket. Por padrĂŁo, o CloudTrail registra apenas eventos de gerenciamento; eventos de dados devem ser habilitados explicitamente.
Por quĂȘ: Eventos de dados sĂŁo cobrados por evento; restrinja apenas ao bucket sensĂvel para controlar o custo.
Precisa de quem/quando/IP para cada acesso S3; eventos de dados do CloudTrail sĂŁo muito caros.
Registro de acesso ao servidor S3. Gratuito; logs entregues a um bucket de log separado; menos detalhes que o CloudTrail, mas cobre solicitante + IP + caminho.
Impedir que qualquer bucket na conta seja acidentalmente tornado pĂșblico, mesmo que uma polĂtica de bucket o permita.
Bloqueio de Acesso PĂșblico do S3 em nĂvel de conta. Sobrescreve qualquer polĂtica em nĂvel de bucket; aplicado como um guardrail.
Redshift na VPC deve ler do S3 sem passar pela internet pĂșblica.
S3 Gateway Endpoint na tabela de rotas da sub-rede do Redshift. O trĂĄfego Ă© roteado via backbone da AWS; sem NAT, sem IGW.
O job Glue ETL precisa acessar o RDS na sub-rede privada E chamar as APIs do Glue Data Catalog.
ConexĂŁo Glue na VPC do RDS + Interface VPC Endpoints para `glue.amazonaws.com` + S3 Gateway Endpoint.
O Glue ETL precisa de leitura S3, escrita Redshift, leitura Secrets Manager.
Ănica role de execução do Glue com polĂticas de menor privilĂ©gio: `s3:GetObject` no prefixo de origem, `redshift-data:ExecuteStatement`, `secretsmanager:GetSecretValue` no ARN do segredo especĂfico.
Detectar padrÔes de acesso a dados incomuns - download grande por um usuårio IAM sem acesso prévio ao data lake.
Proteção S3 do GuardDuty. Baselines comportamentais por principal IAM; descobertas sobre volumes/padrÔes de acesso anÎmalos.
A conformidade exige retenção WORM (write once, read many) em dados financeiros por 7 anos.
S3 Object Lock com modo Compliance + perĂodo de retenção de 7 anos. Nem mesmo o root pode excluir; atende a SEC 17a-4 / FINRA.
Coleta contĂnua de evidĂȘncias de conformidade para auditorias HIPAA / SOC 2.
AWS Audit Manager com frameworks prĂ©-construĂdos. Coleta automaticamente evidĂȘncias do CloudTrail, Config, Security Hub; produz relatĂłrios prontos para auditoria.