Dernière révision : juin 2026
Une référence concise des modèles d'architecture évalués par l'examen NCA-GENM. Lisez de haut en bas ou sautez à une section.
Les sorties de diffusion ignorent l'invite ; augmenter la fidélité au texte sans détériorer la qualité d'image.
Augmenter l'échelle de guidage sans classifieur (CFG) ; surveiller la sursaturation/les artefacts et réduire.
Pourquoi: Un CFG plus élevé renforce l'adhérence à l'invite, mais un CFG trop élevé provoque des couleurs brûlées et des détails non naturels - c'est un compromis, pas un levier gratuit.
L'échantillonnage de diffusion est trop lent pour une démo interactive ; réduire les étapes sans perte de qualité évidente.
Passer à un échantillonneur ODE plus rapide (DPM-Solver++ / Euler) et réduire les étapes ; valider avec FID, pas à l'œil nu.
Pourquoi: Les échantillonneurs modernes atteignent une qualité comparable en beaucoup moins d'étapes que l'échantillonnage ancestral DDPM.
Un pipeline multimodal a de nombreux éléments et un résultat faible ; décider quoi modifier ensuite.
Exécuter une ablation contrôlée - modifier un composant à la fois et mesurer par rapport à un ensemble d'évaluation fixe.
Pourquoi: Modifier plusieurs paramètres à la fois rend le résultat ininterprétable ; isoler la cause avant de monter en puissance.
Les résultats de génération varient d'une exécution à l'autre et vous ne pouvez pas comparer équitablement deux variantes d'invite.
Fixer la graine aléatoire (et l'échantillonneur) de sorte que la seule différence soit la variable testée.
Pourquoi: La diffusion est stochastique ; sans graine fixe, vous comparez du bruit, pas votre modification.
Les images générées incluent toujours un élément indésirable (par exemple, texte, filigrane, membres supplémentaires).
Ajouter une invite négative décrivant ce qu'il faut exclure ; combiner avec le CFG.
Pourquoi: L'invite négative oriente la branche inconditionnelle loin des concepts nommés - moins coûteux que le réentraînement.
Choisir la bonne métrique pour piloter une expérience texte-image.
Utiliser FID pour la qualité d'image distributionnelle, CLIPScore pour l'alignement invite-image, et la préférence humaine pour la décision finale.
Pourquoi: Une seule métrique est trompeuse : un modèle peut obtenir un excellent FID tout en ignorant l'invite. Utiliser les deux axes.
Une tâche de légendage de modèle de langage-vision donne des légendes incohérentes et hallucinées.
Diminuer la température de décodage / utiliser le décodage glouton ou un faible top-p pour un légendage factuel.
Pourquoi: Une température élevée augmente la créativité et l'hallucination ; le légendage recherche le déterminisme et l'ancrage.
L'itération sur le conditionnement est lente car chaque cycle évalue l'ensemble du jeu de données.
Construire un petit jeu d'évaluation "golden" représentatif pour une itération rapide ; n'exécuter l'évaluation complète que sur les candidats.
Pourquoi: Les boucles de rétroaction courtes sont plus efficaces que les boucles exhaustives mais lentes pour la phase d'expérimentation.
Nécessité que les images générées suivent une pose, une profondeur ou une disposition des bords précise.
Ajouter un conditionnement structurel (type ControlNet : pose/profondeur/canny) en plus de l'invite textuelle.
Pourquoi: Les invites textuelles ne peuvent pas spécifier une structure spatiale exacte ; une carte de conditionnement auxiliaire le peut.
Deux points de contrôle obtiennent un score FID/CLIPScore presque identique ; choisir lequel déployer.
Exécuter un test A/B de préférence humaine en aveugle sur un ensemble d'invites mis de côté.
Pourquoi: Les métriques automatisées saturent ; la préférence humaine est le facteur décisif pour la qualité générative.
Le modèle semble excellent sur les invites sur lesquelles il a été réglé, mais médiocre sur de nouvelles invites.
Conserver un ensemble d'invites distinct, jamais utilisé pendant le réglage, et rendre compte de ses performances sur celui-ci.
Pourquoi: Le réglage par rapport à vos invites d'évaluation suradapte l'expérience, pas le modèle.
Les sorties sont proches du style cible mais pas tout à fait ; décider entre les astuces d'invite et l'entraînement.
Épuiser les techniques d'invite/conditionnement et le fine-tuning léger de type LoRA avant un réentraînement complet.
Pourquoi: L'intervention la moins chère d'abord - un réentraînement complet est rarement justifié par un écart stylistique.
Expliquer comment un modèle de diffusion génère une image.
Le processus direct ajoute du bruit aux données ; le modèle apprend l'inverse, le débruitage à partir de bruit pur vers un échantillon.
Pourquoi: La génération est un débruitage itératif - le réseau prédit le bruit (ou la vitesse) à chaque étape.
Pourquoi la diffusion haute résolution fonctionne efficacement au lieu d'opérer sur des pixels bruts.
La diffusion latente exécute le processus de diffusion dans l'espace latent compressé d'un VAE, puis décode en pixels.
Pourquoi: Opérer dans l'espace latent réduit massivement le calcul par rapport à l'espace pixel pour la même fidélité.
Comment un modèle apprend à faire correspondre des images et du texte sans étiquettes par pixel.
Le pré-entraînement contrastif (de type CLIP) rapproche les paires image-texte correspondantes et éloigne les non-correspondances dans un espace d'embedding partagé.
Pourquoi: L'espace partagé est ce qui permet la classification zéro-shot et la récupération cross-modale.
Mécanisme fondamental qui permet aux transformeurs de relier des jetons à travers une séquence ou des modalités.
L'auto-attention/attention croisée calcule la pertinence pondérée entre les jetons ; l'attention croisée conditionne une modalité sur une autre.
Pourquoi: L'attention croisée est la façon dont un U-Net de diffusion injecte le conditionnement textuel dans la génération d'images.
Comment un transformeur de vision transforme une image en jetons.
Diviser l'image en patchs fixes, encoder linéairement chaque patch, ajouter des encodages de position.
Pourquoi: Les patchs sont l'analogue visuel des jetons de mots - c'est ce qui rend possible une architecture de transformeur unifiée.
Choisir une architecture pour le légendage d'images par rapport à une conversation texte-image ouverte.
Encodeur-décodeur (encodeur de vision + décodeur de texte) pour le légendage ; LLM multimodal de type décodeur-seulement pour une génération flexible.
Pourquoi: La forme de la tâche - entrée fixe vers sortie textuelle vs. génération entrelacée - dicte l'architecture.
Comment un seul modèle consomme du texte et de l'image ensemble.
Projeter chaque modalité dans un espace de jetons partagé et alimenter la séquence combinée à un seul transformeur.
Pourquoi: La fusion au niveau du jeton permet à l'attention de raisonner conjointement sur les modalités plutôt que de fusionner tardivement les sorties.
Rôle du VAE dans un générateur d'images par diffusion latente.
L'encodeur VAE compresse les images en latents pour la diffusion ; son décodeur reconstitue les pixels à la fin.
Pourquoi: La qualité du VAE plafonne la qualité finale de l'image quel que soit le modèle de diffusion.
Comment l'audio entre dans un modèle neuronal pour la génération de parole ou d'audio.
Convertir la forme d'onde en un spectrogramme de Mel (image temps-fréquence) ; les modèles opèrent sur celui-ci, puis un vocodeur reconstitue l'audio.
Pourquoi: Les spectrogrammes rendent l'audio traitable pour les modèles de type image et séquence.
Pourquoi la recherche cross-modale (requête texte, résultats image) fonctionne-t-elle du tout.
Les deux modalités sont intégrées dans un espace vectoriel aligné unique ; la récupération est basée sur le plus proche voisin à travers les modalités.
Pourquoi: L'alignement issu de l'entraînement contrastif est la condition préalable - sans lui, les espaces ne sont pas comparables.
Entraîner un modèle de langage-vision dont les légendes sont bruyantes ou faiblement liées aux images.
Filtrer les paires par seuil de similarité CLIP et recréer les légendes des images à faible alignement.
Pourquoi: Un faible alignement légende-image dans les données limite directement l'adhérence à l'invite en aval.
Un grand corpus image-texte scrapé risque la mémorisation et une évaluation faussée.
Dédupliquer les images quasi-identiques (hachage perceptuel / similarité d'embedding) avant l'entraînement.
Pourquoi: Les doublons augmentent la mémorisation et s'infiltrent dans l'évaluation, surestimant la qualité.
Les données d'entraînement ASR mélangent de l'audio téléphonique à 8kHz et de l'audio studio à 44.1kHz.
Rééchantillonner tous les clips à la fréquence d'échantillonnage attendue par le modèle (couramment 16kHz pour ASR) et normaliser le volume sonore.
Pourquoi: Des fréquences d'échantillonnage et des niveaux non concordants corrompent les caractéristiques du spectrogramme et nuisent à la reconnaissance.
Les images d'entraînement de diffusion varient énormément en taille et en rapport d'aspect.
Regrouper par rapport d'aspect et redimensionner/recadrer au sein des groupes à la résolution d'entraînement.
Pourquoi: Le regroupement par rapport d'aspect évite la distorsion due à la contrainte de tout rendre carré tout en maintenant l'uniformité des lots.
Préparer un corpus multimodal scrapé du web pour un modèle de production.
Appliquer un filtrage NSFW/CSAM et de licence/consentement avant l'entraînement ; enregistrer la provenance.
Pourquoi: Les modèles génératifs reproduisent le contenu d'entraînement - les données dangereuses ou sans licence deviennent une responsabilité légale et de sécurité.
Les légendes courtes et éparses limitent la diversité des invites que le modèle peut gérer.
Augmenter avec des légendes détaillées synthétiques provenant d'un VLM puissant, puis filtrer leur qualité.
Pourquoi: Des légendes plus riches élargissent la distribution des invites que le modèle apprend à suivre.
Les clips vidéo sont longs ; décider comment les alimenter à un modèle multimodal.
Échantillonner les images à un taux fixe (ou images clés) plus les segments audio/transcript alignés.
Pourquoi: L'échantillonnage dense d'images est un gaspillage ; l'échantillonnage sparse aligné préserve le signal temporel à moindre coût.
Déployer un modèle génératif en tant que point de terminaison d'inférence prêt pour la production et évolutif sur des GPU NVIDIA.
Le servir en tant que microservice NVIDIA NIM - un conteneur préconstruit, optimisé et compatible OpenAI.
Pourquoi: NIM regroupe le moteur, le runtime et l'API, vous évitant de construire manuellement le "plumbing" TensorRT/Triton.
Nécessité d'ASR et de TTS de production pour un pipeline vocal multimodal sur du matériel NVIDIA.
Utiliser NVIDIA Riva pour la reconnaissance et la synthèse vocale accélérées par GPU.
Pourquoi: Riva est la solution de la pile NVIDIA pour la parole en streaming à faible latence - ce n'est pas un outil LLM généraliste.
Personnaliser ou fine-tuner un modèle de fondation au sein de l'écosystème NVIDIA.
Utiliser NVIDIA NeMo pour l'entraînement, le fine-tuning (y compris PEFT/LoRA) et la curation des données.
Pourquoi: NeMo est la couche de construction/personnalisation ; NIM est la couche de service - garder les rôles distincts.
Servir plusieurs modèles (encodeur de vision + LLM + vocodeur) derrière un seul serveur d'inférence.
Utiliser Triton Inference Server avec des ensembles de modèles pour les chaîner dans un même chemin de requête.
Pourquoi: Triton gère les pipelines multi-frameworks, multi-modèles et d'ensemble avec le batching dynamique.
La latence d'inférence sur un modèle déployé est trop élevée pour l'SLA cible.
Compiler vers TensorRT (avec quantification si acceptable) pour une exécution fusionnée au niveau du noyau et à précision réduite.
Pourquoi: TensorRT optimise le graphe pour le GPU spécifique - le levier de latence standard de NVIDIA.
Construire une génération augmentée par récupération (RAG) sur une base de connaissances mixte image-texte.
Intégrer les deux modalités dans un magasin de vecteurs partagé, récupérer de manière cross-modale, puis ancrer le générateur sur les correspondances.
Pourquoi: Le RAG multimodal nécessite un espace d'embedding partagé et un récupérateur, pas seulement un appel LLM.
Ajouter des gardes-fous programmables d'entrée/sortie à une application multimodale déployée.
Envelopper le modèle avec NeMo Guardrails pour appliquer des politiques de sujet, de sécurité et d'ancrage.
Pourquoi: Les Guardrails se placent autour du modèle comme une couche de politique plutôt que d'être intégrés dans les poids.
Les sorties générées sont biaisées vers un type de contenu qui domine le jeu de données.
Profiler la distribution du jeu de données et rééquilibrer ou repondérer les catégories sous-représentées.
Pourquoi: Les modèles génératifs reflètent leur distribution de données - le déséquilibre devient un biais de sortie.
Comprendre la structure et la couverture d'un jeu de données multimodal avant l'entraînement.
Intégrer les échantillons et inspecter les clusters (UMAP/t-SNE) pour trouver les lacunes, les doublons et les valeurs aberrantes.
Pourquoi: L'EDA dans l'espace d'embedding révèle les trous de couverture que les décomptes bruts manquent.
Un modèle multimodal déployé se dégrade sur de nouvelles données de production.
Comparer la distribution d'embedding de production à celle de l'entraînement ; signaler la dérive et déclencher une nouvelle curation.
Pourquoi: Le décalage de distribution, et non la dégradation du modèle, est la cause habituelle de la perte de qualité silencieuse.
La qualité du légendage est médiocre et vous soupçonnez les données, pas le modèle.
Calculer la distribution du CLIPScore légende-image ; une queue à faible moyenne confirme un problème d'alignement des données.
Pourquoi: La quantification de l'alignement distingue un problème de données d'un problème de modélisation.
Le FID a baissé mais les réviseurs disent que les images sont pires ; concilier la contradiction.
Contrôler avec CLIPScore et l'évaluation humaine ; le FID seul peut être manipulé par des astuces distributionnelles.
Pourquoi: Aucune métrique unique n'est suffisante - les interpréter ensemble par rapport à la vérité terrain.
Un modèle texte-image produit des représentations stéréotypées pour les invites de profession.
Auditer les sorties selon les axes démographiques ; rééquilibrer les données et ajouter des atténuations par invite/guardrail.
Pourquoi: Les dommages représentationnels sont un risque de premier ordre dans les médias génératifs, pas un cas limite.
Une fonctionnalité peut synthétiser l'apparence ou la voix d'une personne réelle.
Exiger un consentement explicite, restreindre aux identités autorisées et filigraner les sorties.
Pourquoi: Le clonage d'apparence et de voix soulève des problèmes de consentement et d'usurpation d'identité que la politique doit réguler.
Les consommateurs en aval ont besoin de distinguer les médias générés par l'IA des médias réels.
Intégrer des métadonnées de provenance (type C2PA) et/ou un filigrane invisible au moment de la génération.
Pourquoi: La signalisation de provenance est l'atténuation standard de l'utilisation abusive des médias synthétiques.
Un assistant RAG multimodal décrit avec confiance un contenu non présent dans l'image récupérée.
Contraindre la génération aux preuves récupérées et ajouter une vérification d'ancrage/de citation.
Pourquoi: Une sortie multimodale non ancrée est une hallucination - relier les affirmations à la source.
Empêcher un générateur d'images déployé de produire du contenu dangereux.
Appliquer des classifieurs de sécurité sur l'invite d'entrée et l'image de sortie, plus une liste noire ; bloquer et enregistrer les violations.
Pourquoi: La sécurité doit être appliquée aux étapes d'invite et de sortie - un seul côté laisse des brèches.
Appliquer la politique de sujet et de sécurité sur une application de chat multimodale en temps réel.
Utiliser NeMo Guardrails pour des gardes-fous programmables d'entrée, de sortie et thématiques autour du modèle.
Pourquoi: Les Guardrails offrent une couche de politique auditable indépendante des poids du modèle.
Les parties prenantes demandent si le modèle pourrait reproduire des images protégées par le droit d'auteur ou privées.
Documenter les sources/licences des données, dédupliquer pour limiter la mémorisation et tester la régénération textuelle.
Pourquoi: Le risque de mémorisation est un problème de confiance et légal - la transparence et la déduplication sont les contrôles.