Последняя проверка: июнь 2026 г.
Сжатый справочник архитектурных шаблонов, проверяемых на экзамене NCA-GENL. Читайте сверху вниз или переходите к нужному разделу.
Объясните, что позволяет трансформеру учитывать удаленные токены при генерации следующего.
Механизм self-attention. Каждый токен обращается ко всем другим токенам через проекции запроса/ключа/значения, создавая взвешенные по контексту представления.
Почему: Именно механизм attention, а не рекуррентность, обеспечивает трансформерам дальний контекст и параллелизуемое обучение.
Выберите способ внедрения новых знаний или поведения в LLM.
Новые, часто меняющиеся факты → RAG. Новое поведение/стиль задачи → тонкая настройка (fine-tune). Новые базовые возможности/словарь в масштабе → продолженное предварительное обучение (continued pre-training).
Почему: RAG сохраняет данные внешними и обновляемыми; тонкая настройка запекает поведение в веса; предварительное обучение - самый дорогой рычаг.
Определите, что делает модель foundation model.
Большая модель, предварительно обученная на обширных, в основном неразмеченных данных, которая адаптируется ко многим последующим задачам посредством промптинга, RAG или тонкой настройки.
Оцените, как текст сопоставляется с входными единицами модели и что влияет на стоимость.
Текст разбивается на суб-словные токены токенизатором (например, BPE). Стоимость и ограничения контекста измеряются в токенах, а не в символах или словах.
Почему: Редкие или неанглийские слова разбиваются на большее количество токенов, что увеличивает использование контекста и стоимость вывода.
Длинный документ не помещается в один промпт.
Входные данные превышают контекстное окно модели (максимальное количество токенов для ввода + вывода). Разделите документ на части для RAG или выберите модель с более длинным контекстом.
Почему: Контекстное окно - это жесткое ограничение; все, что выходит за его пределы, усекается и бесшумно теряется.
Обеспечьте семантический поиск или извлечение RAG по тексту.
Используйте embedding модель для преобразования текста в плотные векторы, затем извлекайте данные по косинусному сходству/скалярному произведению из векторного хранилища.
Почему: Embeddings размещают семантически похожий текст рядом друг с другом, что позволяет осуществлять поиск на основе значения, а не ключевых слов.
Выберите поведение вывода: детерминированное или творческое.
Низкая температура (~0.0-0.3) → сфокусированный, повторяемый. Высокая температура (~0.7-1.0) → разнообразный, творческий. Используйте близкую к 0 для классификации или извлечения.
Почему: Температура масштабирует распределение вероятностей перед выборкой; более низкие значения концентрируют массу на верхних токенах.
Ограничьте пул токенов-кандидатов помимо температуры.
Top-k сохраняет k наиболее вероятных токенов; top-p (nucleus) сохраняет наименьший набор, кумулятивная вероятность которого достигает p.
Почему: Top-p адаптирует набор кандидатов к форме распределения; top-k имеет фиксированную ширину независимо от уверенности.
Определите, как LLM обучаются на неразмеченном тексте.
Самостоятельное обучение (self-supervised learning) - предсказание следующего токена (причинное) или маскированного токена создает метки из самого текста, без аннотации человеком.
Почему: Это то, что позволяет LLM обучаться на корпусах интернет-масштаба без ручной разметки.
Сопоставьте архитектуру с семейством задач.
Генерация → только декодер (в стиле GPT). Понимание/классификация → только кодировщик (в стиле BERT). Seq-to-seq перевод/резюмирование → кодировщик-декодер (в стиле T5).
Почему: Модели только с декодером предсказывают слева направо; кодировщики видят двунаправленный контекст, что лучше для задач представления.
Заставьте базовую модель следовать инструкциям и отдавать предпочтение полезным, безопасным ответам.
Настройка инструкций с последующим выравниванием, таким как RLHF - обучение с подкреплением на основе предпочтений человека.
Почему: Сырая предварительно обученная модель предсказывает текст; выравнивание направляет ее к предполагаемому поведению ассистента.
Модель утверждает уверенные, но сфабрикованные факты.
Галлюцинация. Смягчите ее путем обоснования с помощью RAG, понижения температуры, цитирования источников и добавления защитных механизмов (guardrails) плюс человеческого контроля для критически важных результатов.
Почему: LLM предсказывают правдоподобные токены, а не проверенные факты; обоснование предоставляет недостающие доказательства.
Различите размер модели и размер обучающих данных.
Параметры = обученные веса (мощность модели). Токены = объем обучающего текста. Оба масштабируют возможности в соответствии с законами масштабирования.
Почему: Большая модель, недостаточно обученная на слишком малом количестве токенов, уступает меньшей, хорошо обученной модели (вывод Chinchilla).
Разделите две ресурсоемкие фазы жизненного цикла LLM, активно использующие GPU.
Обучение обновляет веса на основе данных (однократно, пакетно). Вывод запускает замороженную модель для генерации результатов (постоянно, чувствительно к задержкам).
Почему: Инструменты оптимизации различаются: обучение использует фреймворки параллелизма; вывод использует TensorRT-LLM и Triton.
Модель, прошедшая тонкую настройку, запоминает обучающие примеры и дает сбои на новых входных данных.
Переобучение. Смягчите с помощью большего/разнообразного объема данных, ранней остановки, более низкой скорости обучения, меньшего количества эпох или регуляризации, такой как dropout.
Почему: Большой разрыв между обучающими и валидационными данными означает, что модель подогнала шум вместо обобщаемых паттернов.
Быстро разверните оптимизированную LLM в качестве производственного микросервиса с API, совместимым с OpenAI.
Используйте микросервис NVIDIA NIM - предварительно созданную, контейнеризированную конечную точку модели, оптимизированную для TensorRT-LLM.
Почему: NIM упаковывает модель, среду выполнения и оптимизированный движок, что позволяет избежать ручной настройки TensorRT-LLM и Triton.
Обслуживайте несколько моделей с использованием пакетирования, параллелизма и нескольких бэкендов за одним сервером вывода.
NVIDIA Triton Inference Server. Поддерживает динамическое пакетирование, ансамбли моделей и бэкенды TensorRT/PyTorch/ONNX.
Почему: Triton максимизирует использование GPU за счет параллельного выполнения моделей и динамического пакетирования.
Сократите задержку вывода LLM на NVIDIA GPU перед обслуживанием.
Скомпилируйте модель с TensorRT-LLM - слияние ядер, квантование, in-flight batching и оптимизация KV-кэша.
Почему: TensorRT-LLM создает оптимизированный движок гораздо быстрее, чем выполнение необработанной модели фреймворка.
Обучайте, настраивайте или выполняйте тонкую настройку LLM в масштабе на NVIDIA GPU.
Фреймворк NVIDIA NeMo - комплексный набор инструментов для создания, настройки и развертывания генеративных моделей ИИ.
Почему: NeMo охватывает курирование данных, обучение, PEFT и выравнивание в одном стеке, разработанном для масштабирования на нескольких GPU.
Создайте приложение, которое отвечает на вопросы на основе приватных документов, которые базовая модель никогда не видела.
Конвейер RAG: разделите документы на части + встройте их в векторное хранилище, извлеките top-k по сходству во время запроса и внедрите их в промпт.
Почему: Извлечение обосновывает ответы текущими, собственными данными без переобучения модели.
Ограничьте тон, роль и правила ассистента на протяжении всего разговора.
Установите системный промпт/сообщение, определяющее роль, ограничения и формат перед пользовательскими репликами.
Почему: Системное сообщение сохраняется на протяжении всего разговора и направляет поведение более надежно, чем инструкции для каждой реплики.
Повысьте точность выполнения структурированной задачи без какого-либо обучения.
Few-shot prompting - встройте 2-5 примеров ввода/вывода в промпт перед реальным вводом.
Почему: Обучение в контексте позволяет модели сопоставлять паттерны с примерами без обновления весов.
Модель неправильно решает многошаговые рассуждения или математические задачи.
Chain-of-thought prompting - проинструктируйте ее рассуждать шаг за шагом, прежде чем дать окончательный ответ.
Почему: Выявление промежуточных шагов улучшает точность рассуждений в композиционных задачах.
Позвольте LLM надежно вызывать внешние API, базы данных или инструменты.
Используйте вызов функций/инструментов (function/tool calling) - определите схемы инструментов; модель выдает структурированные аргументы, которые выполняет ваш код.
Почему: Структурированные вызовы инструментов превосходят анализ свободного текста и привязывают модель к живым системам для агентских потоков.
Нижестоящему коду требуется строгий JSON от модели.
Запросите схему JSON в промпте и используйте ограниченное/управляемое декодирование; проверьте вывод перед использованием.
Почему: Декодирование с учетом схемы предотвращает неверно сформированный JSON, который мог бы нарушить парсинг.
Пользовательский интерфейс чата должен показывать токены по мере их генерации, а не после завершения.
Используйте потоковый (токен за токеном) вывод из обслуживающей конечной точки.
Почему: Потоковая передача снижает воспринимаемую задержку; NIM и Triton поддерживают потоковые ответы.
Комбинируйте шаги извлечения, промптинга и использования инструментов в единый конвейер приложения.
Используйте фреймворк оркестрации, такой как LangChain или LlamaIndex, для связывания извлекателей, промптов, моделей и инструментов.
Почему: Эти фреймворки предоставляют многократно используемые абстракции RAG и agent поверх конечных точек NIM/NeMo.
Сделайте выбор между упакованным микросервисом и вручную собранным стеком обслуживания.
Быстрое стандартизированное развертывание → NIM. Сложная пользовательская логика бэкенда/модели → Triton + TensorRT-LLM напрямую.
Почему: NIM обменивает настраиваемость на скорость; чистый Triton дает полный контроль над графом обслуживания.
Выполните тонкую настройку большой модели на ограниченной памяти GPU, не затрагивая все веса.
LoRA / PEFT - обучите небольшие низкоранговые адаптерные матрицы, заморозив базовые веса.
Почему: LoRA сокращает количество обучаемых параметров на порядки, поэтому тонкая настройка помещается на скромных GPU.
Выполните тонкую настройку очень большой модели с максимально ограниченным бюджетом памяти.
QLoRA - квантуйте замороженную базовую модель до 4-бит и обучите LoRA адаптеры поверх нее.
Почему: Квантование базовой модели уменьшает память сильнее, чем только LoRA, что позволяет использовать более крупные модели на одном GPU.
Выберите самую дешевую настройку, которая соответствует стандарту качества.
Повышайте по порядку: инженерия промптов → few-shot → RAG → тонкая настройка LoRA → полная тонкая настройка.
Почему: Стоимость и усилия возрастают на каждом шаге; остановитесь на первом, который достигает цели.
Контролируемая тонкая настройка требует правильной формы обучающих данных.
Предоставьте пары инструкция/ответ (промпт-завершение), обычно в формате JSONL.
Почему: SFT учит модель сопоставлять входы с желаемыми выходами; пары определяют это сопоставление.
Потери при тонкой настройке расходятся или модель забывает прежние возможности.
Понизьте скорость обучения и/или уменьшите количество эпох; следите за потерями валидации, чтобы избежать катастрофического забывания.
Почему: Слишком высокая LR дестабилизирует обучение и перезаписывает предварительно обученные знания.
Оцените, действительно ли тонкая настройка или изменение промпта помогло.
Отложите набор для валидации/тестирования, на котором модель никогда не обучалась, и сравните метрики до и после.
Почему: Оценка на обучающих данных завышает качество; только отложенные данные отражают обобщение.
Сравните множество запусков тонкой настройки с различными гиперпараметрами и данными.
Регистрируйте запуски, конфигурации и метрики с помощью трекера экспериментов (например, MLflow, Weights & Biases, TensorBoard).
Почему: Воспроизводимость требует записи того, какая конфигурация дала какой результат; память не масштабируется.
Автоматически оценивайте качество сгенерированного текста.
Суммирование → ROUGE. Перевод → BLEU. Семантическое соответствие → BERTScore. Качество открытого типа → LLM-as-judge или человеческая оценка.
Почему: Метрики лексического совпадения упускают смысл; для тонкого качества необходима оценка человеком или моделью-судьей.
RAG извлекает нерелевантный или слишком малый контекст.
Настройте размер/перекрытие чанков, top-k, embedding модель и добавьте переранжирование; проверьте качество извлечения отдельно от генерации.
Почему: Большинство сбоев RAG - это сбои извлечения; исправьте извлечение, прежде чем винить генератор.
Определите, какой из двух вариантов промпта работает лучше.
Запустите оба варианта на фиксированном оценочном наборе и сравните метрики; итерируйте по данным и промпту, а не только по модели.
Почему: Контролируемое сравнение на одних и тех же входных данных изолирует эффект изменения промпта.
После тонкой настройки на узкой задаче модель теряет общие способности.
Катастрофическое забывание. Смягчите с помощью PEFT/LoRA, более низкой LR, меньшего количества эпох или добавления общих данных в набор для тонкой настройки.
Почему: Настройка на основе адаптеров сохраняет базовые веса, ограничивая отклонение от исходных возможностей.
Курируйте большой веб/текстовый корпус для обучения LLM в масштабе GPU.
NVIDIA NeMo Curator - ускоренная на GPU очистка, дедупликация, фильтрация по качеству и обработка PII для обучающих данных.
Почему: Качество данных определяет качество модели; Curator масштабирует курирование, которое было бы неосуществимо на CPU.
Обучающий корпус содержит много почти дублирующихся документов.
Удалите дубликаты (точные и нечеткие/почти дубликаты) перед обучением.
Почему: Дубликаты тратят вычислительные ресурсы, смещают модель в сторону повторяющегося контента и создают риск запоминания/утечки.
Разделите документы для извлечения RAG.
Разделите на семантически связные отрывки с небольшим перекрытием; размер должен соответствовать embedding модели и бюджету контекста.
Почему: Чрезмерно большие чанки размывают релевантность; крошечные чанки теряют контекст. Перекрытие сохраняет значение границ.
Необработанный спарсенный текст содержит шум, шаблонный, токсичный или низкокачественный контент.
Примените фильтры качества и токсичности, идентификацию языка и эвристики для отсева малоценных документов.
Почему: Некачественные данные ухудшают модель; фильтрация улучшает качество на последующих этапах больше, чем добавление необработанного объема.
Подготовьте коллекцию документов для семантического извлечения.
Сгенерируйте embeddings для каждого чанка с использованием согласованной embedding модели и сохраните их в векторном индексе.
Почему: Embeddings запросов и документов должны быть получены от одной и той же модели, чтобы быть сравнимыми.
Проверьте, не недопредставляет ли обучающий набор группы или темы.
Проанализируйте распределение по классам, источникам и демографическим данным; перебалансируйте или восполните пробелы перед обучением.
Почему: Искаженные обучающие данные приводят к искаженному поведению модели; исправление должно быть на уровне данных.
Обучающие данные или данные RAG могут содержать персональную информацию.
Обнаруживайте и редактируйте/маскируйте PII во время подготовки данных, прежде чем они достигнут весов модели или индекса.
Почему: Знания, запеченные в веса, не могут быть надежно замаскированы при выводе; удалите PII на более ранних этапах.
Поддерживайте LLM-приложение в рамках темы, блокируйте небезопасный контент и предотвращайте джейлбрейки.
NVIDIA NeMo Guardrails - программируемые рельсы для контроля темы, фильтрации безопасности и управления потоком диалога.
Почему: Guardrails обеспечивают применение политики к входным и выходным данным независимо от базовой модели.
Уменьшите количество уверенных, но неверных ответов в развернутом ассистенте.
Обосновывайте ответы с помощью RAG, требуйте цитирования, добавляйте рельсы для проверки фактов и держите людей в цикле для высокорисковых результатов.
Почему: Обоснование предоставляет проверяемые доказательства, которые модель в противном случае изобрела бы.
Пользовательский ввод пытается переопределить системный промпт или эксфильтровать данные.
Эшелонированная защита: guardrails, фильтрация ввода/вывода, изоляция инструкций и разрешения инструментов с минимальными привилегиями для agent.
Почему: Ни один отдельный контроль не останавливает инъекцию; комбинируйте фильтрацию с ограниченными возможностями.
Развернутая модель производит искаженные или несправедливые результаты для определенных групп.
Проведите аудит результатов на предмет предвзятости, перебалансируйте/дополните обучающие данные и добавьте проверки справедливости в оценку.
Почему: Предвзятость обычно возникает в данных; измерьте и исправьте ее до и после развертывания.
Промпты и ответы не должны выходить из-под контроля организации.
Самостоятельно размещайте с NIM/Triton на собственной инфраструктуре, шифруйте данные и избегайте отправки конфиденциального контента сторонним API.
Почему: Развертывание локально или в VPC сохраняет конфиденциальные данные внутри доверенной границы.