Справочник - PMLE Google Cloud Professional Machine Learning Engineer

Создание моделей классификации, регрессии или рекомендаций на больших табличных наборах данных в BigQuery для команд с сильными навыками SQL.

Используйте BigQuery ML с синтаксисом SQL (например, `CREATE MODEL ... OPTIONS(model_type='BOOSTED_TREE_CLASSIFIER')`). Включите объяснимость с помощью `EXPLAIN_PREDICT`.

Почему: Позволяет избежать перемещения данных и использует существующие навыки SQL для быстрой разработки. Сохраняет управление данными в BigQuery и обеспечивает интегрированную объяснимость.

Источник

Извлечение структурированных данных (например, имен, дат, кодов) из неструктурированных документов, таких как формы или счета, с минимальным опытом в области машинного обучения.

Используйте Document AI с предварительно обученным или пользовательским процессором. Обучите пользовательский процессор с размеченными образцами документов для специализированных макетов.

Почему: Специализированный управляемый сервис для анализа документов, который превосходит создание пользовательских OCR и логики анализа с нуля.

Источник

Анализ неструктурированных данных, таких как аудио или текст, для определения тональности, сущностей или тем без обучения пользовательской модели.

Объединяйте предварительно обученные API. Пример: API Speech-to-Text для транскрипции, затем API Natural Language для анализа сущностей и тональности.

Почему: Быстрейший выход на рынок для распространенных сценариев использования. Использует модели, обученные Google, без необходимости разметки данных или обучения моделей.

Создание высококачественной пользовательской модели изображений, видео или табличной модели с размеченными данными, но ограниченным опытом кодирования в области машинного обучения.

Используйте Vertex AI AutoML (например, AutoML Vision Object Detection). Предоставьте размеченные данные и позвольте сервису управлять поиском архитектуры и обучением.

Почему: Сочетает потребности пользовательских моделей с простотой использования. Превосходит общие предварительно обученные API для пользовательских задач (например, идентификация конкретных продуктов).

Источник

Создание диалогового ИИ или помощника по знаниям, который отвечает на вопросы на основе большого корпоративного корпуса документов.

Реализуйте паттерн Retrieval-Augmented Generation (RAG). Используйте Vertex AI Vector Search для поиска релевантных фрагментов документов и передавайте их в качестве контекста модели Gemini для генерации обоснованных ответов.

Почему: Основывает ответы больших языковых моделей (LLM) на фактических данных, уменьшая галлюцинации и предоставляя ссылки. Более масштабируемо и актуально, чем тонкая настройка для получения знаний.

Создание корпоративного чат-бота или поисковой системы с минимальным количеством кода, подключенной к внутренним источникам данных, таким как Cloud Storage или BigQuery.

Используйте Vertex AI Agent Builder. Настройте коннекторы хранилищ данных к вашей базе знаний и используйте инструменты (вызов функций) для поиска данных в реальном времени.

Почему: Решение с низким объемом кода, которое автоматизирует создание конвейера RAG, включая синтаксический анализ документов, разбиение на фрагменты, внедрение и извлечение, для быстрого развертывания.

Выполнение обнаружения дефектов в реальном времени на высокообъемных видеопотоках с производственных камер с задержкой менее одной секунды.

Разверните оптимизированные модели на граничных устройствах с помощью Vertex AI Edge Manager. Выполняйте инференс локально и отправляйте только метаданные дефектов в облако для мониторинга.

Почему: Обрабатывает требования к высокой пропускной способности и низкой задержке, которые невыполнимы или слишком дороги при использовании только облачного подхода.

Управление признаками машинного обучения для обеспечения согласованности между пакетным обучением и обслуживанием в реальном времени, предотвращая расхождение между обучением и обслуживанием.

Используйте Vertex AI Feature Store. Определите группы признаков с различными расписаниями синхронизации (пакетная, потоковая). Используйте запросы с "путешествием во времени" для получения корректных обучающих данных на определенный момент времени.

Почему: Предоставляет централизованное хранилище признаков, обеспечивает согласованные определения признаков и решает проблему корректности обучающих данных на определенный момент времени.

Источник

Внедрение управления моделями с версионированием, рабочими процессами утверждения и аудируемой историей развертывания.

Используйте Vertex AI Model Registry для версионирования и хранения моделей. Связывайте с экспериментами и наборами данных. Используйте IAM и псевдонимы версий (например, "production") для управления утверждениями развертывания.

Почему: Централизует управление моделями, обеспечивая управление, воспроизводимость и возможности безопасного отката. Интегрируется с конвейерами CI/CD.

Систематическое отслеживание и сравнение экспериментов машинного обучения, включая гиперпараметры, метрики и артефакты, для обеспечения воспроизводимости.

Используйте Vertex AI Experiments. Автоматически регистрируйте параметры и метрики из заданий обучения. Связывайте артефакты и наборы данных для полного отслеживания происхождения.

Почему: Предоставляет структурированную, запрашиваемую систему для управления экспериментами, выходящую за рамки электронных таблиц или ручных журналов для лучшего сотрудничества.

Обучение и обслуживание моделей на конфиденциальных данных (например, PHI, PII) при соблюдении строгих требований к месту хранения данных и безопасности.

Настройте Vertex AI в периметре VPC Service Controls. Используйте Private Endpoints для сетевой изоляции и Customer-Managed Encryption Keys (CMEK) для данных в состоянии покоя.

Почему: Создает безопасный сетевой периметр, который предотвращает утечку данных и гарантирует, что вся обработка и передача данных происходят в контролируемых границах.

Контроль версий обучающих данных для обеспечения воспроизводимости экспериментов и возможности отслеживания моделей до точного снимка данных, использованного для обучения.

Используйте управляемые наборы данных Vertex AI с версионированием. Создавайте новые версии наборов данных для значительных изменений данных и связывайте определенные версии с запусками обучения.

Почему: Предоставляет неизменяемые, версионированные снимки данных с автоматическим отслеживанием происхождения в ML Metadata, что крайне важно для соответствия требованиям и отладки.

Разметка большого, неразмеченного набора данных для обучения модели с ограниченным бюджетом на ручную аннотацию.

Реализуйте цикл активного обучения. Обучите начальную модель на небольшой размеченной подвыборке, затем используйте ее показатели неопределенности для приоритизации наиболее информативных образцов для ручной разметки.

Почему: Максимизирует ценность каждого размеченного человеком образца, сокращая затраты и время на разметку по сравнению со случайной выборкой или исчерпывающей разметкой.

Сокращение времени обучения для большой модели на массивном наборе данных путем масштабирования на нескольких GPU или узлах.

Используйте стратегию синхронного параллелизма данных, такую как `MultiWorkerMirroredStrategy` TensorFlow. Упакуйте обучающий код и отправьте его в Vertex AI Training с конфигурацией для нескольких рабочих узлов.

Почему: Стандартный, эффективный метод масштабирования большинства задач обучения. Vertex AI управляет настройкой кластера и синхронизацией, требуя минимальных изменений в коде.

Обучение базовой модели (LLM), которая слишком велика, чтобы поместиться в память одного ускорителя (например, >50 млрд параметров).

Используйте 3D-параллелизм: тензорный параллелизм (разделение слоев внутри узлов), конвейерный параллелизм (этапирование слоев между узлами) и параллелизм данных (репликация по всему поду). Обучение на TPU-подах.

Почему: Единственный реализуемый способ обучения моделей, которые превышают память одного устройства. Каждое измерение параллелизма устраняет свое узкое место масштабирования (память, вычисления, сеть).

Минимизация затрат на длительные, отказоустойчивые задачи обучения (например, >12 часов).

Используйте Spot VM (прерываемые) для обучения, которые предлагают до 80% экономии затрат. Внедрите частое создание контрольных точек в Cloud Storage и настройте задачу на автоматический перезапуск.

Почему: Значительно сокращает затраты на обучение. Создание контрольных точек гарантирует минимальную потерю прогресса при прерывании, что делает это надежной стратегией для несрочных задач.

Эффективный поиск оптимальных гиперпараметров для модели с большим и сложным пространством поиска.

Используйте настройку гиперпараметров Vertex AI (Vizier) с байесовской оптимизацией. Определите пространство поиска и целевую метрику. Включите раннюю остановку для отсечения бесперспективных попыток.

Почему: Байесовская оптимизация более эффективна с точки зрения выборки, чем поиск по сетке или случайный поиск, находя лучшие конфигурации за меньшее количество попыток, экономя время и деньги.

Для задачи обучения требуются определенные версии библиотек, пользовательские ядра CUDA или частные пакеты, недоступные в предустановленных контейнерах.

Создайте пользовательский контейнер Docker со всеми зафиксированными зависимостями. Загрузите контейнер в Artifact Registry и сошлитесь на него в задаче обучения Vertex AI.

Почему: Обеспечивает полный контроль над средой выполнения, гарантируя воспроизводимость и обработку сложных зависимостей, с которыми не справляются предустановленные контейнеры.

Обучение модели на очень большом наборе данных BigQuery без задержки или затрат на экспорт его в Cloud Storage.

Используйте BigQuery Storage Read API непосредственно из контейнера обучения. Это обеспечивает высокую пропускную способность, параллельную потоковую передачу данных в загрузчики данных TensorFlow или PyTorch.

Почему: Самый быстрый и эффективный способ чтения больших наборов данных BQ для обучения. Позволяет избежать промежуточного хранения и узких мест ввода/вывода.

Источник

Обслуживание модели с высокой или переменной нагрузкой (например, пики 10 000 RPS) при сохранении низкой задержки и оптимизации затрат.

Разверните модель в конечной точке Vertex AI с типом машины GPU. Настройте автомасштабирование с минимальным и максимальным количеством реплик в зависимости от трафика или использования.

Почему: Автоматически масштабирует ресурсы в соответствии со спросом, обеспечивая производительность в пиковые нагрузки и экономию средств в периоды затишья. GPU обеспечивают низкую задержку для сложных моделей.

Обслуживание прогнозов модели для глобальной базы пользователей с минимальной задержкой в каждом регионе.

Разверните модель в региональных конечных точках Vertex AI в каждой целевой географии (например, США, ЕС, Азиатско-Тихоокеанский регион). Используйте глобальный балансировщик нагрузки для маршрутизации пользователей к ближайшей конечной точке.

Почему: Минимизирует сетевую задержку, обслуживая запросы из инфраструктуры, расположенной близко к пользователю. Крайне важно для глобальных приложений, чувствительных к задержкам.

Безопасное развертывание новой версии модели путем постепенного переключения трафика с одновременным мониторингом производительности.

Разверните новую версию в той же конечной точке Vertex AI, что и текущая модель. Используйте разделение трафика, чтобы отправлять небольшой процент трафика (например, 5%) новой версии, постепенно увеличивая его.

Почему: Включает «канареечные» развертывания и A/B-тестирование. Позволяет безопасно проверять новые модели под реальным производственным трафиком с возможностью немедленного отката.

Обслуживание рекомендаций в реальном времени из каталога, содержащего миллионы элементов, с задержкой менее 50 мс.

Реализуйте двухэтапную архитектуру: 1) Этап быстрого извлечения с использованием Vertex AI Vector Search (ANN) для поиска K-лучших кандидатов. 2) Этап точного ранжирования, который применяет более сложную модель к небольшому набору кандидатов.

Почему: Балансирует точность и задержку. Быстрое извлечение ANN сокращает огромное пространство элементов, позволяя вычислительно затратному ранжировщику работать с управляемым подмножеством.

Снижение задержки вывода модели для соответствия строгим требованиям реального времени (<20 мс).

Примените методы оптимизации модели. Скомпилируйте модель с TensorRT для GPU или OpenVINO для CPU. Используйте квантование (например, INT8) для уменьшения точности и увеличения пропускной способности.

Почему: Эти методы оптимизируют граф модели и используют аппаратно-специфическое ускорение, часто обеспечивая снижение задержки в 2-5 раз без существенной потери точности.

Экономичное обслуживание десятков моделей с низким трафиком без выделения отдельных ресурсов для каждой.

Используйте конечную точку с несколькими моделями для совместного размещения нескольких моделей на общем наборе ресурсов обслуживания. Vertex AI динамически загружает модели на основе входящих запросов.

Почему: Значительно сокращает затраты на обслуживание многих моделей с нечастым трафиком за счет улучшения использования ресурсов по сравнению с выделенными конечными точками для одной модели.

Уменьшение задержки генерации больших языковых моделей (LLM) для интерактивных приложений.

Реализуйте спекулятивное декодирование. Используйте меньшую, более быструю "черновую" модель для генерации токенов-кандидатов, которые затем проверяются за один проход более крупной, более точной моделью.

Почему: Значительно ускоряет генерацию токенов, заменяя последовательное декодирование параллельной проверкой, что уменьшает основное узкое место в обслуживании LLM.

Автоматизация многошагового рабочего процесса машинного обучения, включая проверку данных, предварительную обработку, обучение, оценку и условное развертывание.

Определите рабочий процесс как DAG, используя Vertex AI Pipelines с SDK Kubeflow Pipelines (KFP). Используйте предварительно созданные или пользовательские компоненты для каждого шага.

Почему: Предоставляет управляемый, бессерверный сервис оркестрации для машинного обучения со встроенным отслеживанием артефактов, происхождения, кэшированием и условным выполнением.

Источник

Предотвращение попадания некачественных данных в конвейер обучения, что приводит к снижению качества модели.

Добавьте компонент TensorFlow Data Validation (TFDV) на ранней стадии конвейера. Сравните статистику входящих данных с базовой схемой и остановите конвейер, если обнаружено смещение или аномалии.

Почему: Действует как автоматический шлюз качества, активно выявляя проблемы с данными до того, как они потратят вычислительные ресурсы и приведут к ошибочной модели.

Автоматический запуск переобучения модели при поступлении новых данных или при обнаружении дрейфа модели.

Используйте событийно-ориентированную архитектуру. Сообщение Pub/Sub (например, от обновления Cloud Storage или предупреждения о дрейфе) запускает Cloud Function или триггер Eventarc, который начинает выполнение конвейера Vertex AI.

Почему: Создает отзывчивую, эффективную систему, которая переобучает модели только при необходимости, обеспечивая актуальность модели без расточительных плановых запусков.

Автоматизация перевода модели в производство только в том случае, если новая модель превосходит текущую производственную модель по ключевым бизнес-метрикам.

В конвейере Vertex AI добавьте компонент оценки, который сравнивает новую модель с базовой производственной моделью. Используйте `dsl.Condition` для выполнения компонента развертывания только в том случае, если новая модель соответствует или превышает пороговое значение производительности.

Почему: Автоматизирует финальный шлюз качества в конвейере MLOps, предотвращая регрессии производительности и гарантируя развертывание только превосходящих моделей.

Стандартизация общих задач (например, разработка признаков, оценка) в нескольких конвейерах машинного обучения и командах.

Упакуйте общую логику в версионированные, контейнеризированные пользовательские компоненты. Храните их в Artifact Registry и делитесь ими между проектами.

Почему: Способствует повторному использованию кода, обеспечивает согласованность и упрощает обслуживание. Команды могут создавать сложные конвейеры из библиотеки надежных, стандартизированных компонентов.

Ускорение разработки конвейеров и снижение затрат за счет предотвращения избыточных вычислений при повторных запусках.

Включите кэширование выполнения в Vertex AI Pipelines. Сервис автоматически повторно использует выходные данные компонента, если его входные данные и реализация не изменились.

Почему: Значительно ускоряет итеративную разработку, позволяя перезапускать конвейер и выполнять только те компоненты, которые вы изменили.

Внедрение рабочего процесса CI/CD для автоматического тестирования и развертывания изменений в коде конвейера машинного обучения.

Используйте Cloud Build, запускаемый при отправке изменений в репозиторий Git. Процесс сборки запускает модульные тесты компонентов, компилирует конвейер и развертывает его в промежуточной или производственной среде.

Почему: Применяет лучшие практики разработки программного обеспечения к MLOps, обеспечивая быстрые, надежные и автоматизированные обновления производственных систем машинного обучения.

Обнаружение снижения производительности производственной модели из-за изменений во входящих данных или прогнозируемых результатах.

Настройте Vertex AI Model Monitoring. Настройте задачу для обнаружения расхождения между обучением и обслуживанием (изменения распределения входных данных по сравнению с обучением) и дрейфа прогнозов (изменения распределения выходных данных со временем).

Почему: Предоставляет автоматизированную систему раннего предупреждения о деградации модели, позволяя заранее переобучать или вмешиваться до того, как бизнес-метрики будут значительно затронуты.

Источник

Производительность модели снижается, но распределения входных признаков остаются стабильными (дрейф данных не обнаружен).

Внедрите мониторинг результатов прогнозов по отношению к отложенным истинным меткам. Падение точности или других метрик оценки указывает на дрейф концепции, когда изменилась взаимосвязь между признаками и целевым значением.

Почему: Одного мониторинга дрейфа признаков недостаточно. Дрейф концепции требует оценки прогнозов модели по отношению к фактическим значениям для обнаружения изменений в базовых закономерностях.

Предоставление объяснений для отдельных прогнозов модели для соответствия нормативным требованиям или для доверия заинтересованных сторон.

Включите Vertex AI Explainable AI на развернутой конечной точке. Используйте методы, такие как Sampled Shapley или Integrated Gradients, для получения атрибуции признаков для каждого прогноза.

Почему: Предоставляет локальные объяснения для каждого прогноза, которые определяют, какие признаки способствовали принятию решения, что крайне важно для аудита и отладки моделей "черного ящика".

Обеспечение справедливой работы модели для различных сегментов пользователей (например, демографических) и обнаружение скрытых предубеждений.

Настройте мониторинг модели для вычисления и отслеживания метрик производительности (например, точности, частоты ошибок) на срезах данных, определенных чувствительными атрибутами.

Почему: Агрегированные метрики могут скрывать низкую производительность для подгрупп меньшинств. Срезовый анализ крайне важен для выявления и смягчения проблем справедливости.

Предотвращение ненадежных, излишне уверенных прогнозов модели на входах, которые принципиально отличаются от ее обучающих данных.

Реализуйте модель обнаружения отклонений от распределения (OOD) (например, автокодировщик) наряду с основной моделью. Высокая ошибка реконструкции помечает вход как OOD, запуская логику отката.

Почему: Обеспечивает механизм безопасности против сдвига домена, повышая устойчивость модели путем определения того, когда модель работает вне своей области знаний.

Документирование предполагаемого использования, ограничений, обучающих данных и оценки справедливости модели как для технических, так и для нетехнических заинтересованных сторон.

Создайте карточку модели, используя фреймворк Google. Включите разделы с информацией о модели, предполагаемом использовании, этических соображениях, количественном анализе (включая срезовые метрики) и ограничениях.

Почему: Стандарт для ответственной документации ИИ, который способствует прозрачности, подотчетности и правильному использованию моделей в организации.

Ведение доступного для поиска и аудита журнала всех запросов и ответов прогнозов для обеспечения соответствия требованиям и отладки.

Включите логирование доступа на конечной точке Vertex AI. Настройте экспорт журналов в BigQuery для структурированного, долгосрочного хранения и анализа.

Почему: BigQuery предоставляет масштабируемую и запрашиваемую платформу для создания аудиторских следов, анализа тенденций прогнозирования и объединения прогнозов с истинными данными.