AWS Certified Machine Learning Engineer Associate
最終確認：2026年5月
MLA-C01 試験で問われるアーキテクチャパターンのスキャン可能なリファレンス。上から順に読むか、セクションへジャンプ。
ビジュアルなデータ準備ツールを選択する。
MLに特化し、SageMaker Studio + フロー → Processing job → Pipeline → Notebookエクスポートと統合 → SageMaker Data Wrangler。再利用可能なレシピ、プロファイリングを備えた汎用データクリーンアップ、SageMakerに依存しない → AWS Glue DataBrew。カスタムコードを使用した50 TB以上のSpark → Amazon EMR。
理由: Data WranglerはSageMakerネイティブのオプション（300以上の変換、日付/時刻抽出、Pipeline/Processingへのエクスポート）。DataBrewはレシピベースでソースに依存しない。EMRは規模と任意のSparkに対応する。
アナリストとSageMakerがデータセットを発見できるように、S3、RDS、DynamoDBにわたるデータをカタログ化する。
AWS Glue Crawlersは、スキーマとメタデータでAWS Glue Data Catalogを構築する。Athena、Redshift Spectrum、SageMakerがすべてこれを利用する。
データレイクで列レベルおよび行レベルのアクセス制御と監査ログが必要である。
AWS Lake Formation。IAMおよびS3バケットポリシーでは、構造化データに対する列レベルの粒度を提供しない。
理由: Lake FormationはGlue Data Catalogのガバナンスを一元化し、監査のためにCloudTrailと統合する。
S3データに対して、何もプロビジョニングせずにアドホックSQLを実行する。
Amazon Athena。サーバーレスで、スキャンされたTBごとに課金される。データをパーティション分割し、Parquetを使用してコストと時間を削減する。
既存のPySparkコードで50 TBの特徴量エンジニアリングを行う必要があり、4時間以内に完了する必要がある。
Sparkを使用するAmazon EMR。調整可能なクラスターサイズ、Spotインスタンスのサポート、既存のコードを変更せずに実行できる。
理由: Glue ETLもSparkを実行するが、EMRはクラスターの形状に対してより多くの制御を提供する。SageMaker Processingは小規模な単一コンテナジョブ用である。
トレーニング前にカスタムのscikit-learn / pandas前処理スクリプトを実行する。一時的なコンピューティングで、アイドルコストなし。
SKLearn（またはPySpark）コンテナを使用したSageMaker Processingジョブ。プロビジョニング、実行、終了を行う。
理由: ノートブック（起動し続け、コストがかかる）やLambda（15分制限、メモリ制限）で実行するよりも優れている。
10万枚の画像を費用対効果よくラベリングする — 人間と自動化されたラベリングを希望する。
自動データラベリングが有効なAmazon SageMaker Ground Truth。最初の人間がラベリングしたサブセットの後、Ground Truthはモデルをトレーニングし、高信頼度のサンプルを自動ラベリングする。
理由: アクティブラーニングは通常、ラベリングコストを最大70%削減する。A2Iはモデル予測の人間によるレビュー用であり、大量ラベリング用ではない。
複数のアノテーターが意見を異にする。シニアレビューアがラベルのサンプルを検証する必要がある。
Ground Truthラベル検証（監査）ワークフロー。ラベルのサブセットは、承認、却下、または調整を行うレビューワーカーにルーティングされる。複数のワーカーによる多数決のために、アノテーション統合と組み合わせる。
トレーニング時（バッチ）と推論時（10ミリ秒未満）で同じ設計された特徴量が必要である。
オンラインストアとオフラインストアの両方が特徴量グループで有効になっているAmazon SageMaker Feature Store。オンラインストアはリアルタイムのGetRecordをサポートし、オフラインストア（S3内のParquet）はトレーニングをサポートする。
理由: カスタムのDynamoDB ↔ S3同期なしで、トレーニング/サービングスキューを排除する。
特徴量グループを定義する — 必須事項とは何か。
レコード識別子名（レコードごとの一意のキー）とイベント時間特徴量名（ポイントインタイムクエリ用のタイムスタンプ）。
将来の特徴量値を漏洩させることなく、トレーニング用に2つの特徴量グループを結合する。
イベント時間列を使用してオフラインストアに対してポイントインタイム結合を行う。各トレーニング行は、そのイベントタイムスタンプに存在した特徴量値のみを参照する。
理由: 最新値に対する単純なJOINは、イベント後の特徴量ドリフトをモデルに公開することにより、データ漏洩を引き起こす。
500 GBのデータセットにSageMakerトレーニングデータ入力モードを選択する。
ファイルモード → データセット全体が最初にダウンロードされる（起動が遅い、EBSコスト）。パイプモード → S3からストリーミング、低起動時間、低ストレージ。FastFileモード → 遅延ファイルレベルストリーミング。大きなデータセットにはダウンロードを避けるためにパイプ（またはFastFile）を使用する。
数百万の小さなファイル（各約50 KB）がある場合、パイプモードのスループットが低い。
Amazon RecordIO（protobuf）にバンドルし、パイプモードでストリーミングする。シーケンシャルレコードにより、ファイルごとのS3 GETオーバーヘッドがなくなる。
S3上のMLデータレイクで、頻繁な列サブセット読み取りとパーティションフィルタリングを伴うストレージ形式とレイアウトを選択する。
最もフィルタリングされる列（例：日付やリージョン）でパーティション分割されたParquet（カラムナー、圧縮）。AthenaとSageMakerでの列プルーニングとパーティションプルーニングを促進する。
Glue ETLが実行のたびに既に処理済みのファイルを再処理する。
Glueジョブブックマークを有効にする。失敗した実行がブックマークを進めないようにPAUSEオプションを使用し、必要なときにのみリセットする。
Glue ETLパイプライン内でスキーマ、型、値の範囲、NULL制約を検証する。
DQDLルールを使用したAWS Glue Data Quality。チェックが失敗した場合、パイプラインを停止する。
カテゴリ特徴量をエンコードする。順序があるもの（Basic/Standard/Premium）と、ないもの（米国の州）がある。
順序がある場合 → 順序エンコーディング（ランクを保持）。順序がない場合 → ワンホットエンコーディング（偽の順序性を回避）。順序のない特徴量へのラベルエンコーディングは避ける。ターゲットエンコーディングは、漏洩を避けるために注意深いCVが必要である。
数値列に、別の特徴量と相関する欠損値がある（例：収入の欠損が雇用タイプに依存する）。
グループベースの中央値補完（雇用タイプ別の中央値）。関係性を保持する。平均は外れ値に敏感。欠損値の削除はデータを失う。ゼロはバイアスを追加する。
ポジティブクラスが0.3%の二値分類。
トレーニングフォールドのみにSMOTEオーバーサンプリングを適用する（分割後）。精度ではなく、PRカーブ/F1評価と組み合わせる。
理由: 漏洩を避けるため、分割後にオーバーサンプリングを適用する。精度は不均衡データでは誤解を招く。
右に歪んだ数値特徴量（例：収入）が線形モデルのパフォーマンスを低下させる。
対数変換。右側の裾を圧縮し、より対称的な分布を生成する。標準化/min-maxはスケールを変更するだけで、形状は変更しない。
相関の高い50個の特徴量がある。分散を保持しながら次元数を削減したい。
PCA。相関のある特徴量を、分散によってランク付けされた無相関の主成分に変換する。
訓練/検証/テスト分割を選択する。
不均衡分類 → 層化分割（クラス比率を保持）。時系列 → 時系列分割（初期期間で訓練、最新期間でテスト）。ランダムシャッフルはしない。IID表形式 → ランダム。
SageMaker組み込みアルゴリズムを選択する。
表形式の分類/回帰 → XGBoostまたはLinear Learner。大規模な多クラステキスト分類 → BlazingText（教師あり）。関連する系列と季節性を持つ時系列 → DeepAR。数値の教師なし異常検出 → Random Cut Forest。トピックモデリング → Neural Topic Model。翻訳/Seq2Seq → Sequence-to-Sequence。ピクセルレベルのクラス → Semantic Segmentation。ペアエンティティ埋め込み（ユーザー/アイテム） → Object2Vec。
表形式データで多くのアルゴリズムを自動的に比較する。リーダーボードとその背後にあるノートブックを希望する。
SageMaker Autopilot。アルゴリズムを試行し、特徴量エンジニアリングを行い、ハイパーパラメータを調整し、候補ノートブックを生成する。
組み込みにないカスタムトレーニングフレームワーク/独自のトークナイザー。
BYOC（Bring Your Own Container）：コードと依存関係を含むDockerイメージをAmazon ECRにプッシュし、SageMakerトレーニングで参照する。カスタマイズを諦めることなく、マネージドインフラストラクチャ（Spot、分散、ライフサイクル）を維持する。
医療分類用の小さな画像データセット（約2,000枚）。
ImageNetで事前学習されたモデル（例：ResNet）からの転移学習。最終層をファインチューニングする。SageMaker Image Classificationはこれを直接サポートする。
理由: 少量のデータでゼロからトレーニングすると過学習する。事前学習された特徴（エッジ、テクスチャ）は医療画像にきれに転移する。
カスタムトレーニングコードを書かずに、事前学習済みの基盤モデルを迅速にファインチューニングする。
SageMaker JumpStartファインチューニングAPI：モデルIDを選択し、予期される形式（通常はJSONL）でデータセットを提供し、ファインチューニングジョブを起動し、JumpStartからエンドポイントにデプロイする。
LLMを特定のドメインに適応させる。多くの静的知識 → RAG、ファインチューニング、プロンプトのみのどれを選択するか。
頻繁に変化するドメイン知識 → Bedrock Knowledge Basesを介したRAG。ラベル付けされた例によるブランドボイス/一貫したスタイル → Bedrockモデルのカスタマイズ（ファインチューニング、多くの場合、パラメーター効率の良いアダプター）。少量の静的ガイダンス → few-shotによるプロンプトエンジニアリング。
8つのハイパーパラメータを調整する。各トレーニングジョブは30分。計算リソースが限られている。
SageMaker Automatic Model Tuningとベイズ最適化（デフォルト）。目的の確率モデルを構築し、有望な領域をサンプリングする。
理由: グリッドサーチは組み合わせ的に爆発する。ランダムサーチは予算を浪費する。目的メトリック（例：`validation:auc`）とタイプ（`Maximize`）を指定する。
50ジョブ後、チューニングが停滞した。
親ジョブを事前情報として使用し、最もパフォーマンスの高い構成を中心に範囲を狭めたウォームスタートで新しいチューニングジョブを開始する。
既存のモデルを毎月の新しいラベルでトレーニングを続行する — ゼロから開始しない。
インクリメンタルトレーニング：以前のモデルアーティファクトを入力として渡す。Image Classification、Object Detection、Semantic Segmentationの組み込みアルゴリズムでサポートされている。
分散トレーニング戦略を選択する。
モデルが1つのGPUに収まるがデータが巨大 → データ並列処理（モデルを複製し、バッチを分割し、勾配をAllReduceする）。モデルが1つのGPUに収まらない → モデル並列処理（レイヤー/テンソルをGPU間で分割する）。10B+パラメーター → SageMakerモデル並列ライブラリ（テンソル + パイプライン並列）。
PyTorch / TensorFlowトレーニングが遅すぎる。精度を変更せずにグラフレベルの最適化をしたい。
SageMaker Training Compiler。モデルグラフをコンパイルし、トレーニング時間を最大50%削減できる。
中断を許容できる長時間のトレーニングジョブ。大幅なコスト削減をしたい。
SageMaker Managed Spot Training（最大90%オフ）。S3にチェックポイントを設定し、中断後にSageMakerが再開できるようにする。
トレーニングロスは下がり続けるが、50エポック後に検証ロスが上昇し始める。
過学習。検証ロスが最小になる時点で早期停止を適用し、ドロップアウト/L2正則化を使用する。層を増やすと悪化する。
適切な分類メトリックを選択する。
不均衡 + 稀なポジティブが重要 → リコール、F1、PRカーブ/平均精度（多くのTNによって水増しされるROC AUCではない）。不均衡のある多クラス → マクロ平均F1。閾値に依存しないランキング → AUC。確率キャリブレーション → 対数損失/Brier。
回帰モデルが高値で過大予測し、低値で過小予測する。
残差と予測値をプロットする。体系的なバイアスには平均誤差（符号付き）を使用する。RMSE/MAE/R²は方向を隠す。
各入力が複数のクラスに同時に属する可能性がある。
出力ニューロンごとにシグモイド活性化と二値交差エントロピー損失（独立した確率）。Softmax + カテゴリカル交差エントロピーは相互排他的なクラスを仮定する。
複数のベースモデルをメタ学習器でスタックする。
k分割交差検定：各ベースモデルは、そのホールドアウトされたフォールドに対してフォールド外の予測を生成する。それらをフォールド全体で収集し、それらでメタ学習器を訓練する。
理由: ベースモデルを訓練し、同じ訓練セットで予測すると、メタ学習器に情報が漏洩する。
多くのトレーニング実行（パラメーター、メトリック、アーティファクト）を追跡し、比較する。
SageMaker Experiments。トレーニングジョブに`experiment_config`（実験 + トライアル + トライアルコンポーネント）を渡し、SageMakerがハイパーパラメータ、入力設定、メトリック、アーティファクトを自動記録する。
スクリプトを書き直すことなく、トレーニングの病理（勾配消失、損失減少せず、テンソル爆発）を検出する。
組み込みルール（`VanishingGradient`、`LossNotDecreasing`、`ExplodingTensor`、`Overfit`）を備えたSageMaker Debugger。フックを介してテンソルをキャプチャし、その場でルールを評価する。
SageMaker推論モードを選択する。
安定した低レイテンシーの同期 → リアルタイムエンドポイント。スパイク/アイドル状態のトラフィック、GPU不要 → サーバーレス推論（コールドスタートを排除するためにプロビジョニング済みコンカレンシーを設定）。リクエストごとに実行時間が長い（60秒以上）または大きなペイロード → 非同期推論。S3レコードの一括オフラインスコアリング → バッチ変換。
多くの低トラフィックモデルがある場合 — 各モデルに1つのエンドポイントでは高すぎる。
SageMaker Multi-Model Endpoint (MME)。モデルは共有インスタンスにオンデマンドでロードされる。1つのエンドポイントで多数のモデルに対応し、低コスト。
1つのエンドポイントからリクエストごとに並行して呼び出される2つの独立したモデル。
直接呼び出しモードのマルチコンテナエンドポイント。呼び出し元は各コンテナを独立してターゲットにする。
リクエストごとに順次処理：トークン化 → 埋め込み → 分類をそれぞれ個別のコンテナで行う。
SageMaker Inference Pipeline（シリアルモード）。最大15個のコンテナを連鎖させ、各コンテナの出力が次のコンテナに供給される。1つのエンドポイント。
リアルタイムエンドポイントが1秒あたり1000リクエストのピークを吸収する必要があるが、夜間はほぼゼロにスケールする必要がある。
`InvocationsPerInstance`に対するApplication Auto Scalingのターゲット追跡。トラフィックの変動に応じてエンドポイントの背後にあるインスタンスを追加/削除する。
新しいモデルをトラフィックの10%に展開し、30分間ウォームアップし、アラーム発生時に自動ロールバックする。
SageMakerエンドポイントデプロイ構成とカナリアまたは線形トラフィックシフト + 自動ロールバックのためのCloudWatchアラーム。
ユーザーに影響を与えることなく、新しいモデルを本番トラフィックに対して検証する。
シャドウバリアント。本番トラフィックはシャドウモデルに複製される。クライアントには本番モデルのみが結果を返す。
1つのエンドポイントで2つのモデルバージョンを90/10のトラフィック分割で実行する。
`initial_variant_weight`を0.9/0.1に設定したSageMakerプロダクションバリアント。`UpdateEndpointWeightsAndCapacities`で更新する。
コスト/レイテンシー/スループットに基づいて、リアルタイムエンドポイントに適したインスタンスタイプを選択する。
SageMaker Inference Recommender。候補インスタンスタイプ全体でモデルをベンチマークし、推奨事項をレポートする。
モデルのバージョン管理、正式な承認による本番デプロイのゲート、リネージの追跡を行う。
SageMaker Model Registry。承認ステータス（PendingApproval / Approved / Rejected）を追跡し、リネージを追跡し、PipelinesおよびCI/CDと統合される。
ネイティブなMLワークフロー：トレーニング → 評価 → 条件付き登録/デプロイ。
TrainingStep → ConditionStep（メトリック閾値） → RegisterModel → Lambdaステップ（またはCreateModel/Endpoint）を備えたSageMaker Pipelines。ネイティブなSageMaker統合、パラメータ化、キャッシング、リネージ。
パイプラインはGlue ETL + Lambda + SageMakerトレーニング + SNS / DynamoDBを調整する必要がある。
AWS Step Functions。スタック全体でのネイティブサービス統合。SageMaker以外のステップではPipelinesよりも豊富。
理由: 純粋なMLワークフローにはPipelinesが適切。より広範なAWSサービス統合が必要な場合はStep Functionsが適切。
事前構築されたMLOps CI/CDスキャフォールディング（CodePipeline + CodeBuild + Pipelines）が欲しい。
SageMaker MLOps Project Templates。ワンクリックでリポジトリ + パイプライン + IAM + Pipelinesステップを生成する。
Model Monitorがドリフトを検出したときに自動的に再トレーニングする。
Model Monitor → 違反メトリックに対するCloudWatchアラーム → EventBridgeルール → SageMaker Pipeline実行を開始。
TensorFlowモデルをARMエッジデバイスにデプロイする。小さく、高速である必要がある。
SageMaker Neo。ターゲットハードウェア用にコンパイルする。最大25倍高速で、メモリは約1/10。DLRランタイムを介してデプロイし、オフラインエッジのためにIoT Greengrassと組み合わせる。
小さいモデル（50 MB未満）、1日あたり100リクエスト未満、10秒以下のレイテンシーが許容可能で、最低コストを希望する。
コンテナイメージを備えたAWS Lambda（最大10 GB）。リクエストごとに課金され、アイドルコストなし。SageMakerエンドポイントは時間ごとに課金される。
推論に60秒以上かかる（LLM長文）。リアルタイムエンドポイントがタイムアウトする。
SageMaker Asynchronous Inference。S3ロケーションを直ちに返し、最大60分処理し、完了時にSNS通知を行う。
独立したレコードで最大スループットのためにバッチ変換をチューニングする。
`BatchStrategy=MultiRecord`を大きな`MaxPayloadInMB`と共に設定し、インスタンス全体で並列化するために`MaxConcurrentTransforms`を増やす。
入力特徴量分布がトレーニング時のベースラインからドリフトしたことを検出する。
SageMaker Model Monitor — データ品質。推論データをキャプチャし、トレーニングデータから計算されたベースラインと比較し、ドリフト時にアラームを出す。
理由: 設定順序は固定されている：（1）ベースラインジョブ → （2）モニタリングスケジュール → （3）制約違反メトリックに対するCloudWatchアラーム。
真値が遅れて到着したときに、予測品質の低下（精度/F1/RMSE）を検出する。
SageMaker Model Monitor — モデル品質。キャプチャされた予測を遅延した真値ラベルとマージし、メトリックがベースラインを下回った場合にアラームを出す。
入力分布は変化していないように見えるが、予測品質が変化した。
SageMaker Clarify特徴量寄与度ドリフトモニター（SHAPベース）。特徴量の重要度の変化を介してコンセプトドリフトを検出する。真値が利用可能な場合はモデル品質モニターと組み合わせる。
精度が低下したが、入力特徴量分布は変化していない。
コンセプトドリフト（ラベル/特徴量の関係が変化した）。データドリフトは除外された。修正：最近のラベル付きデータで再トレーニングする。
トレーニング前にデータセットのバイアスをチェックする。
SageMaker Clarifyトレーニング前バイアス指標。サンプルサイズの不均衡に対するClass Imbalance (CI)。ラベル率の不均衡に対するDifference in Positive Proportions of Labels (DPL)。分布のギャップに対するKL/JS divergence。
トレーニング済みモデルのバイアスをチェックする。
SageMaker Clarifyトレーニング後バイアス指標。Disparate Impact (DI)、Accuracy Difference (AD)、Conditional Acceptance、Treatment Equality。モデル予測に対して実行する。
理由: トレーニング前のDPLはクリーンだが、トレーニング後のDIにバイアスがある場合、モデル自体がプロキシ変数を増幅していることを意味する。特徴量（例：郵便番号）を調査する。
規制当局が予測ごとの特徴量寄与度を要求している。
SageMaker Clarify SHAP値。各特徴量の予測ごとの寄与の大きさ + 方向。Model Cardsと統合される。
コンプライアンス要件により、すべての本番モデルの構造化されたドキュメント（意図された用途、トレーニングデータ、評価、倫理、制限）が必要である。
SageMaker Model Cards。バージョン管理され、Model Registryと統合される。
誰がどのトレーニングジョブ/エンドポイント/ノートブックをいつ作成したかを監査する。
AWS CloudTrail。すべてのSageMaker API呼び出し（ID、時間、IP、パラメータ）をキャプチャする。S3に保存し、Athenaでクエリする。
エンドポイントの5xxエラー/レイテンシースパイクでアラートを出す。
`Invocation5XXErrors`、`Invocation4XXErrors`、`ModelLatency`、`OverheadLatency`に対するCloudWatchアラーム。SNS経由で通知する。
ノートブックが1つのS3バケットからトレーニングデータを読み取り、別のバケットにアーティファクトを書き込む必要がある。
カスタムIAMポリシー：トレーニングバケット/プレフィックスに対する`s3:GetObject`と、アーティファクトバケット/プレフィックスに対する`s3:PutObject`をSageMaker実行ロールにアタッチする。`AmazonS3FullAccess`は避ける。
SageMakerリソース全体のチームごとの分離。
IAM条件`aws:ResourceTag/project`を使用する属性ベースのアクセス制御（ABAC）。`project=A`とタグ付けされたリソースは、そのポリシーに一致するロールのみがアクセスできる。
トレーニングデータとモデルアーティファクトを、顧客管理キーとローテーションで暗号化する。
顧客管理キー（CMK）を使用したSSE-KMS。KMSローテーション、キーポリシー、CloudTrail監査。SageMakerが使用するKMSキーをトレーニングジョブ + エンドポイント設定（ボリューム + 出力）で指定する。
複数のインスタンスにわたる分散トレーニング。トレーニングコンテナ間のトラフィックを暗号化する。
トレーニングジョブで`EnableInterContainerTrafficEncryption=true`を設定する。分散コンテナ間にTLSを追加する。
コンテナは外部ネットワーク呼び出しを行ってはならない。データはSageMakerのコピーチャネル内に留まる必要がある。
トレーニング/処理ジョブまたはエンドポイントで`EnableNetworkIsolation=true`を設定する。SageMakerはコンテナが実行される前にS3入力チャネルをコピーし、コンテナは外部への送信を行わない。
トレーニングはパブリックインターネットに接続してはならない。
NAT/インターネットゲートウェイのないプライベートサブネットでSageMakerを実行する。VPCエンドポイント — S3用のゲートウェイエンドポイント、SageMaker API + Runtime + ECR + STS + CloudWatch Logs用のインターフェースエンドポイントを追加する。
MLパイプラインがRDSから特徴量をプルする — 認証情報は自動的にローテーションされる必要がある。
自動ローテーションが有効なAWS Secrets Manager（RDS用の組み込みLambdaローテーション）。
すべてのSageMakerリソースがVPC + KMS + 承認されたインスタンスタイプを使用することを強制する。
予防的 → SageMaker Service Catalog製品（事前承認済み構成）および非準拠API呼び出しを拒否するIAM条件キー（`sagemaker:VpcSecurityGroupIds`、`sagemaker:VolumeKmsKey`）。発見的 → AWS Configマネージドルール/カスタムルール。
