Лабораторная работа — PMLE Google Cloud Professional Machine Learning Engineer

Обзор

Предварительные требования

Шаги

1. 1.Провайдер, сервисы проекта, именование

   Включите API Vertex AI, Cloud Notebooks (для Workbench) и Cloud Storage.

   Копировать

   terraform {
     required_version = ">= 1.5"
   
     required_providers {
       google = { source = "hashicorp/google", version = "~> 6.0" }
     }
   }
   
   provider "google" {
     project = "your-project-id" # REPLACE
     region  = "us-central1"
   }
   
   locals {
     labels = {
       project    = "certlabpro-pmle"
       managed_by = "terraform"
     }
   }
   
   resource "google_project_service" "aiplatform" {
     service            = "aiplatform.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "notebooks" {
     service            = "notebooks.googleapis.com"
     disable_on_destroy = false
   }
   
   resource "google_project_service" "storage" {
     service            = "storage.googleapis.com"
     disable_on_destroy = false
   }

2. 2.Подготовка корзины Cloud Storage для артефактов машинного обучения + обучающих данных

   Создаваемые ресурсы:

   • Cloud Storage

   Рекомендуемая PMLE структура корзины: одна региональная корзина на каждый проект машинного обучения, с подпапками для data/raw/, data/processed/, models/ и pipelines/. Мы подготавливаем одну корзину — соглашение об именовании следует <project-name>-ml-<region>-<random>. Стандартный класс хранения для быстрого доступа к обучающим данным; правило жизненного цикла для перехода в Nearline через 90 дней.

   Копировать

   resource "random_id" "suffix" {
     byte_length = 4
   }
   
   resource "google_storage_bucket" "ml" {
     name                        = "certlabpro-pmle-ml-${random_id.suffix.hex}"
     location                    = "us-central1"
     uniform_bucket_level_access = true
     force_destroy               = true # lab-only
   
     versioning {
       enabled = true # PMLE-recommended for model artifacts
     }
   
     lifecycle_rule {
       condition {
         age = 90
       }
       action {
         type          = "SetStorageClass"
         storage_class = "NEARLINE"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.storage]
   }

3. 3.Подготовка экземпляра Vertex AI Workbench для экспериментов

   Создаваемые ресурсы:

   • Vertex AI Workbench

   Vertex AI Workbench — это стандартная для PMLE платформа для экспериментов — управляемый Jupyter на виртуальной машине GCE, предварительно загруженный PyTorch, TensorFlow, scikit-learn и Vertex AI SDK. Мы подготавливаем экземпляр e2-standard-4; для реальных рабочих нагрузок обучения перейдите на типы экземпляров с GPU (n1-standard-8 + nvidia-tesla-t4).

   Останавливайте экземпляр через консоль Workbench, когда не используете его активно — иначе это будет стоить ~$100/месяц.

   Копировать

   resource "google_workbench_instance" "main" {
     name     = "certlabpro-pmle-workbench"
     location = "us-central1-a"
   
     gce_setup {
       machine_type = "e2-standard-4"
   
       boot_disk {
         disk_size_gb = 150
         disk_type    = "PD_STANDARD"
       }
   
       data_disks {
         disk_size_gb = 100
         disk_type    = "PD_STANDARD"
       }
     }
   
     labels = local.labels
   
     depends_on = [google_project_service.notebooks]
   }

4. 4.Подготовка конечной точки Vertex AI Endpoint в качестве поверхности для предсказаний

   Создаваемые ресурсы:

   • Vertex AI

   Vertex AI Endpoints — это примитив развертывания PMLE — каждая обслуживаемая модель находится за конечной точкой. Схема: (1) обучите модель (через Workbench / Vertex AI Training / AutoML), (2) загрузите ее в Vertex AI Model Registry (gcloud ai models upload), (3) разверните модель в конечной точке. Экзамен PMLE проверяет эту схему модель → конечная точка → разделение трафика как стандартный шаблон обслуживания.

   Мы подготавливаем конечную точку без развернутой модели — она бесплатна, пока модель не будет присоединена. Разверните модель с помощью:

   gcloud ai models deploy MODEL_ID \
     --endpoint certlabpro-pmle-endpoint \
     --machine-type n1-standard-2 \
     --region us-central1
   

   С четырьмя установленными блоками (провайдер+API, корзина для артефактов, экземпляр Workbench, поверхность конечной точки) основа для обслуживания PMLE завершена. Реальные рабочие процессы PMLE наслаивают Vertex AI Pipelines (Kubeflow), Vertex AI Experiments, Vertex AI Model Monitoring, Vertex AI Feature Store и Vertex AI Vizier на эту базу.

   Копировать

   resource "google_vertex_ai_endpoint" "main" {
     name         = "certlabpro-pmle-endpoint"
     display_name = "PMLE lab endpoint"
     location     = "us-central1"
   
     labels = local.labels
   
     depends_on = [google_project_service.aiplatform]
   }

Очистка ресурсов