Вам нужно единое место для поиска моделей, их развертывания и создания приложений ИИ в Azure.
→Используйте Microsoft Foundry portal — он содержит каталог моделей, развертывания, playground и инструментарий agent.
Почему: Foundry — это единый центр; отдельные службы Azure AI существуют, но Foundry — это место, где вы компонуете и развертываете решения.
Источник↗
Вы хотите, чтобы модель всегда отвечала как вежливый support agent независимо от заданного вопроса.
→Задайте поведение и персону в system prompt; поместите конкретный вопрос в user prompt.
Почему: System prompt определяет общее поведение и правила; user prompt — это запрос для каждого хода.
Источник↗
Вы выбрали модель в каталоге и хотите, чтобы ее можно было вызывать из приложения.
→Создайте развертывание для модели в Foundry portal, которое предоставит endpoint и key.
Почему: Модель в каталоге не пригодна для использования до тех пор, пока не будет развернута; развертывание предоставляет вызываемую endpoint.
Источник↗
Вы хотите протестировать prompt-ы и настроить temperature до написания какого-либо кода.
→Используйте чат-playground в Foundry portal для взаимодействия с развернутой моделью и настройки параметров.
Почему: Playground позволяет интерактивно итерировать prompt-ы и настройки; для экспериментов не требуется SDK.
Вам нужно вызвать развернутую чат-модель из кода приложения.
→Используйте Foundry (Azure AI) SDK для создания чат-клиента, который отправляет сообщения на endpoint развертывания.
Почему: SDK оборачивает endpoint типизированным клиентом; вы передаете system и user сообщения и считываете завершение.
Источник↗
Ваше приложение должно пройти аутентификацию в развернутой модели.
→Используйте URL endpoint'а развертывания с API key или учетными данными Microsoft Entra ID (Azure AD).
Почему: Аутентификация на основе ключа является самой простой; Entra ID более безопасна и позволяет избежать встраивания секретов в код.
Вам нужен AI assistant, который следует инструкциям и использует инструменты, созданный без большого количества кода.
→Создайте single agent в Foundry portal — определите его инструкции, модель и инструменты (Agent Service).
Почему: Конструктор agent-ов портала настраивает поведение и инструменты декларативно; вам не нужно вручную писать цикл оркестровки.
Источник↗
Ваш agent всегда должен ссылаться на источники и отклонять запросы не по теме.
→Закодируйте эти правила в инструкциях agent-а (его системном руководстве).
Почему: Инструкции agent-а направляют последовательное поведение на протяжении всех ходов, подобно system prompt для обычной чат-модели.
Ваш agent должен отвечать на основе документов вашей компании, а не только на основе своих обучающих данных.
→Предоставьте agent-у инструмент для знаний/grounding (например, поиск файлов или Azure AI Search), чтобы он извлекал ваши данные.
Почему: Grounding/RAG предоставляет актуальный, частный контекст; без него модель может галлюцинировать или использовать устаревшие знания.
Вам нужно пользовательское приложение для программного управления Foundry agent.
→Создайте клиентское приложение agent-а с помощью Foundry SDK — создайте поток, добавьте сообщения, запустите agent-а, прочитайте ответы.
Почему: SDK предоставляет потоки, запуски и сообщения, чтобы ваше приложение могло интегрировать agent-а в любой рабочий процесс.
Источник↗
Вы должны создать приложение, которое извлекает sentiment и entities из входящего текста.
→Используйте Azure AI Language (анализ текста) через SDK или REST, доступ к которому осуществляется через Foundry, вызывая функции sentiment и NER.
Почему: Для классических задач NLP служба Language специально создана и дешевле, чем prompt-ы для общего LLM.
Источник↗
Пользователь хочет задать вопрос голосом и получить ответ от развернутой модели.
→Отправьте аудио в multimodal модель, которая принимает речевой ввод, или сначала транскрибируйте, а затем запросите модель.
Почему: Multimodal модели могут принимать аудио напрямую; в противном случае используйте speech-to-text для подачи текстовой модели.
Вашему приложению нужна высококачественная транскрипция и естественный речевой вывод.
→Используйте Azure AI Speech в Foundry Tools для speech-to-text и text-to-speech.
Почему: Служба Speech предлагает настроенное распознавание и реалистичные neural voices, превосходящие то, что может предоставить одна только чат-модель.
Источник↗
Вам нужно, чтобы приложение читало ответы вслух естественным голосом.
→Используйте Azure AI Speech text-to-speech с neural voice; при необходимости управляйте просодией с помощью SSML.
Почему: Neural voices звучат естественно; SSML позволяет настраивать темп, высоту и произношение.
Приложение должно описывать, что происходит на предоставленной пользователем фотографии, и отвечать на вопросы о ней.
→Отправьте изображение в multimodal модель в Foundry и запросите ее с помощью вопроса.
Почему: Multimodal LLM-ы рассуждают о содержимом изображения; классическая служба Vision возвращает только фиксированные теги и подписи.
Источник↗
Приложение должно генерировать изображения из текстовых описаний по запросу.
→Разверните модель text-to-image (например, модель DALL-E / генерации изображений) в Foundry и вызывайте ее из своего приложения.
Почему: Модели генерации изображений создают визуальные эффекты из prompt-ов; модель Vision только анализирует существующие изображения.
Источник↗
Вам нужно приложение, которое классифицирует изображения и считывает с них печатный текст.
→Создайте приложение Vision с помощью Azure AI Vision (анализ изображений и OCR), доступ к которому осуществляется через Foundry.
Почему: Azure AI Vision предоставляет готовый анализ изображений и OCR; вам не нужно обучать модель для общих задач.
Источник↗
Приложение должно извлекать печатный и рукописный текст из отсканированных страниц.
→Используйте возможность OCR (Read) Azure AI Vision для возврата распознанного текста и его местоположения.
Почему: OCR возвращает необработанный текст с координатами; для извлечения структурированных полей требуется Content Understanding.
Вы должны извлекать структурированные поля (суммы, даты, пункты) из счетов и форм.
→Используйте Azure AI Content Understanding в Foundry Tools для извлечения структурированных данных из документов и форм.
Почему: Content Understanding извлекает помеченные поля; обычный OCR возвращает только неструктурированный текст.
Источник↗
Вам нужны структурированные описания и метаданные, извлеченные из партии изображений.
→Используйте Azure AI Content Understanding для анализа изображений и возврата структурированного вывода.
Почему: Content Understanding производит последовательные структурированные результаты по всем типам контента, превосходящие свободный текстовый заголовок.
Вы должны преобразовать записи звонков в структурированные резюме с ключевыми точками данных.
→Используйте Azure AI Content Understanding для аудио, чтобы транскрибировать и извлекать структурированные поля.
Почему: Content Understanding сочетает транскрипцию с извлечением; один только Speech дает только транскрипцию.
Вам нужны сцены, темы и ключевые поля, извлеченные из обучающих видео.
→Используйте Azure AI Content Understanding для видео, чтобы извлекать структурированные данные по различным модальностям.
Почему: Он анализирует аудио- и видеопотоки вместе, чтобы производить структурированный вывод, а не просто транскрипцию.
Источник↗
Вы должны добавить частные знания вашей компании из FAQ в ответы модели с минимальными усилиями.
→Ground модель с помощью retrieval (RAG) по вашим документам, а не fine-tuning.
Почему: RAG внедряет текущие данные во время запроса и проще/дешевле; fine-tuning изменяет поведение, а не свежесть знаний.
Вы должны блокировать вредоносный или небезопасный текстовый и графический вывод из развернутой модели.
→Включите фильтры Azure AI Content Safety в развертывании для обнаружения и блокировки вредоносного контента.
Почему: Content Safety обеспечивает защитные меры ответственного ИИ во время выполнения; базовая модель сама по себе не гарантирует безопасность.
Источник↗
После развертывания вам необходимо измерять качество ответов и следить за дрейфом.
→Используйте инструменты оценки и мониторинга Foundry для оценки выходов и отслеживания метрик с течением времени.
Почему: Оценка количественно определяет качество (groundedness, релевантность); мониторинг выявляет регрессии в production.
Вам нужно организовать модели, agent-ы и подключения для одного приложения.
→Создайте Foundry project, который группирует развертывания, подключенные ресурсы и инструменты для этого решения.
Почему: Проект является границей рабочей области; подключения связывают внешние ресурсы, такие как Azure AI Search или хранилище.
Источник↗