拡散出力がプロンプトを無視します。画質を損なうことなく、テキストへの忠実度を高めたい。
Classifier-free guidance scaleを上げてください。過飽和やアーティファクトに注意し、それらが発生したら下げてください。
理由: CFGが高いほどプロンプトへの忠実度は高まりますが、高すぎると色が焼け付いたり、不自然なディテールが発生したりします。これはトレードオフであり、自由に調整できるレバーではありません。
最終確認：2026年6月
NCA-GENM 試験で問われるアーキテクチャパターンのスキャン可能なリファレンス。上から順に読むか、セクションへジャンプ。
拡散出力がプロンプトを無視します。画質を損なうことなく、テキストへの忠実度を高めたい。
Classifier-free guidance scaleを上げてください。過飽和やアーティファクトに注意し、それらが発生したら下げてください。
理由: CFGが高いほどプロンプトへの忠実度は高まりますが、高すぎると色が焼け付いたり、不自然なディテールが発生したりします。これはトレードオフであり、自由に調整できるレバーではありません。
インタラクティブなデモにとって拡散サンプリングが遅すぎます。明らかな品質損失なしにステップ数を削減したい。
より高速なODEサンプラー（DPM-Solver++ / Euler）に切り替え、ステップ数を減らしてください。目視ではなくFIDで検証してください。
理由: 現代のサンプラーは、従来のDDPMサンプリングよりもはるかに少ないステップで同等の品質を達成します。
マルチモーダルパイプラインには多くの可動部品があり、結果が一つだけ弱い場合、次に何を変更すべきか判断したい。
制御されたアブレーションを実行してください。一度に一つのコンポーネントを変更し、固定された評価セットに対して測定してください。
理由: 複数のノブを一度に変更すると、結果が解釈不能になります。スケールアップする前に原因を特定してください。
生成結果が実行ごとに異なり、2つのプロンプトバリアントを公平に比較できません。
ランダムシード（およびサンプラー）を固定し、テスト対象の変数のみが異なるようにしてください。
理由: 拡散は確率的です。シードを固定しないと、変更ではなくノイズを比較していることになります。
生成された画像に不要な要素（例：テキスト、透かし、余分な手足）が繰り返し含まれます。
除外したいものを記述するネガティブプロンプトを追加し、CFGと組み合わせてください。
理由: ネガティブプロンプティングは、無条件の分岐を特定の概念から遠ざけます。これは再トレーニングよりも安価です。
text-to-image実験を進めるために適切なメトリックを選択したい。
分布的な画質にはFID、プロンプトと画像の整合性にはCLIPScoreを使用し、最終的な判断には人間の好みを参考にしてください。
理由: 単一のメトリックでは誤解を招きます。モデルはプロンプトを無視しても優れたFIDスコアを出すことがあります。両方の軸を使用してください。
ビジョン言語モデルのキャプション生成タスクが、一貫性のない、幻覚のようなキャプションを出力します。
デコーディングのtemperatureを低くするか、事実に基づいたキャプション生成のためにgreedyまたは低いtop-pを使用してください。
理由: temperatureが高いと創造性と幻覚が増加します。キャプション生成には決定論と根拠が必要です。
各ラウンドでデータセット全体を評価するため、条件付けの反復が遅いです。
高速な反復のために、小さく代表的なゴールデン評価セットを構築してください。完全な評価は候補にのみ実行してください。
理由: 実験段階では、網羅的だが遅いフィードバックループよりも、密なフィードバックループが優れています。
生成された画像が、正確なポーズ、奥行き、またはエッジのレイアウトに従う必要があります。
テキストプロンプトに加えて、構造的条件付け（ControlNetスタイル：ポーズ/奥行き/canny）を追加してください。
理由: テキストプロンプトでは正確な空間構造を指定できませんが、補助的な条件付けマップであれば可能です。
2つのチェックポイントがほぼ同じFID/CLIPScoreを記録しました。どちらを出荷すべきか選択したい。
保持されたプロンプトセットに対して、ブラインドA/B人間の好みテストを実行してください。
理由: 自動化されたメトリックは飽和します。人間の好みが生成品質の決定打となります。
調整に使用したプロンプトではモデルが優れて見えますが、新しいプロンプトでは性能が低いです。
調整中に一度も使用しなかった別のプロンプトセットを保持し、それに基づいて報告してください。
理由: 評価プロンプトに対する調整は、モデルではなく実験に過適合します。
出力がターゲットスタイルに近いが、完全に一致しません。プロンプトのトリックとトレーニングのどちらを選ぶか決めたい。
完全な再トレーニングを行う前に、プロンプト/条件付けとLoRAスタイルの軽いfine-tuneを最大限に活用してください。
理由: 最も安価な介入をまず行いましょう。スタイル上のギャップだけで完全な再トレーニングが正当化されることはめったにありません。
拡散モデルがどのように画像を生成するかを説明したい。
順方向プロセスはデータにノイズを追加します。モデルは逆方向プロセスを学習し、純粋なノイズからサンプルへのノイズ除去を行います。
理由: 生成は反復的なノイズ除去です。ネットワークは各ステップでノイズ（または速度）を予測します。
高解像度拡散が、生のピクセルで動作するのではなく、なぜ効率的に実行されるのかを説明したい。
Latent diffusionは、VAEの圧縮された潜在空間で拡散プロセスを実行し、その後ピクセルにデコードします。
理由: 潜在空間で操作することで、同じ忠実度でピクセル空間と比較して計算量を大幅に削減できます。
モデルがピクセルごとのラベルなしに画像とテキストをマッチングする方法を説明したい。
対照学習（CLIPスタイル）は、マッチする画像とテキストのペアを共有埋め込み空間で近づけ、ミスマッチなペアを遠ざけます。
理由: この共有空間が、zero-shot classificationとcross-modal retrievalを可能にします。
Transformerがシーケンスまたはモダリティ間でトークンを関連付けることを可能にする中核メカニズム。
自己/交差注意（Self/cross-attention）はトークン間の重み付き関連性を計算します。cross-attentionは、あるモダリティを別のモダリティに基づいて条件付けます。
理由: Cross-attentionは、拡散U-Netが画像生成にテキスト条件付けを注入する方法です。
ビジョントランスフォーマーが画像をトークンに変換する方法を説明したい。
画像を固定サイズのパッチに分割し、各パッチを線形に埋め込み、位置エンコーディングを追加します。
理由: パッチは単語トークンの視覚的なアナログです。これにより、統一されたtransformer backboneが可能になります。
画像キャプション生成とオープンエンドなtext-to-imageチャットのためのアーキテクチャを選択したい。
キャプション生成にはEncoder-decoder（vision encoder + text decoder）を、柔軟な生成にはdecoder-onlyのmultimodal LLMを使用してください。
理由: タスクの形状（固定入力からテキスト出力か、インターリーブされた生成か）がアーキテクチャを決定します。
単一のモデルがテキストと画像を一緒に処理する方法を説明したい。
各モダリティを共有トークン空間に投影し、結合されたシーケンスを1つのtransformerにフィードします。
理由: トークンレベルの融合により、注意メカニズムがモダリティ全体で共同で推論でき、出力の後期融合よりも優れています。
latent diffusion画像生成器におけるVAEの役割を説明したい。
VAEエンコーダーは画像を拡散のための潜在空間に圧縮し、そのデコーダーは最後にピクセルを再構築します。
理由: VAEの品質は、拡散モデルに関係なく、最終的な画質の上限を決定します。
音声が音声またはオーディオ生成のためのニューラルモデルに入力される方法を説明したい。
波形をメルスペクトログラム（時間-周波数画像）に変換してください。モデルはそれに基づいて動作し、その後ボコーダーが音声を再構築します。
理由: スペクトログラムは、画像のようなモデルやシーケンスモデルにとって音声を扱いやすくします。
cross-modal検索（テキストクエリ、画像結果）がなぜ機能するのかを説明したい。
両方のモダリティは、1つのアラインされたベクトル空間に埋め込まれます。検索はモダリティ間の最近傍探索です。
理由: 対照学習によるアライメントが前提条件です。それがないと、空間は比較できません。
ビジョン言語モデルをトレーニングしていますが、キャプションがノイズを含んでいたり、画像との関連が弱かったりします。
CLIP類似度閾値でペアをフィルタリングし、アライメントの低い画像を再キャプションしてください。
理由: データ内のキャプションと画像のアライメントの悪さは、下流でのプロンプト順守を直接制限します。
大規模なスクレイピングされた画像-テキストコーパスは、記憶と評価の偏りのリスクがあります。
トレーニング前に、ほぼ同一の画像（知覚ハッシュ / 埋め込み類似度）を重複排除してください。
理由: 重複は記憶を膨らませ、評価に漏れ込み、品質を過大評価させます。
ASRトレーニングデータに8kHzの電話音声と44.1kHzのスタジオ音声が混在しています。
すべてのクリップをモデルが期待するサンプルレート（ASRでは一般的に16kHz）に再サンプリングし、ラウドネスを正規化してください。
理由: 不一致のサンプルレートとレベルは、スペクトログラム特徴を破損させ、認識精度を低下させます。
拡散トレーニング画像は、サイズとアスペクト比が大きく異なります。
アスペクト比でバケツに分け、バケツ内でトレーニング解像度にリサイズ/クロップしてください。
理由: アスペクト比によるバケツ分けは、すべてを正方形に強制することによる歪みを回避しつつ、バッチを均一に保ちます。
Webスクレイピングされたマルチモーダルコーパスをプロダクションモデル用に準備しています。
トレーニング前にNSFW/CSAMおよびライセンス/同意のフィルタリングを実行し、出所を記録してください。
理由: 生成モデルはトレーニングコンテンツを再現します。安全でないデータやライセンスのないデータは、法的および安全上の責任となります。
短く疎なキャプションは、モデルが扱えるプロンプトの多様性を制限します。
強力なVLMからの合成詳細キャプションでデータを拡張し、その後品質フィルタリングを行ってください。
理由: より豊富なキャプションは、モデルが学習するプロンプト分布を広げます。
ビデオクリップが長いです。それらをマルチモーダルモデルにどのように供給するかを決めたい。
固定レート（またはキーフレーム）でフレームをサンプリングし、アラインされた音声/文字起こしセグメントも使用してください。
理由: 密なフレームサンプリングは無駄です。アラインされた疎なサンプリングは、より低いコストで時間信号を保持します。
NVIDIA GPU上で、本番環境に対応したスケーラブルな推論エンドポイントとして生成モデルをデプロイしたい。
NVIDIA NIMマイクロサービスとして提供してください。これは事前構築済みで最適化された、OpenAI互換のコンテナです。
理由: NIMはエンジン、ランタイム、APIをパッケージ化しているため、TensorRT/Tritonの配管を手動で構築する手間を省けます。
NVIDIAハードウェア上でマルチモーダル音声パイプラインのために、本番環境対応のASRとTTSが必要です。
GPUアクセラレーションされた音声認識と合成にはNVIDIA Rivaを使用してください。
理由: Rivaは、ストリーミング、低遅延音声のためのNVIDIAスタックのソリューションであり、汎用LLMツールではありません。
NVIDIAエコシステム内でファウンデーションモデルをカスタマイズまたはfine-tuneしたい。
トレーニング、fine-tuning（PEFT/LoRAを含む）、およびデータキュレーションにはNVIDIA NeMoを使用してください。
理由: NeMoは構築/カスタマイズ層であり、NIMは提供層です。それぞれの役割を明確に区別してください。
1つの推論サーバーの背後で、複数のモデル（vision encoder + LLM + vocoder）を提供したい。
Triton Inference Serverをモデルアンサンブルと共に使用し、1つのリクエストパスでそれらを連結してください。
理由: Tritonは、マルチフレームワーク、マルチモデル、およびアンサンブルパイプラインを動的バッチ処理で処理します。
デプロイされたモデルの推論レイテンシが、目標SLAに対して高すぎます。
TensorRTにコンパイルし（許容される場合はquantizationを使用）、カーネル融合された低精度実行を行ってください。
理由: TensorRTは特定のGPU向けにグラフを最適化します。これはNVIDIAの標準的なレイテンシ改善策です。
画像とテキストが混在するナレッジベースに対して、retrieval-augmented generationを構築したい。
両方のモダリティを共有ベクトルストアに埋め込み、cross-modalに検索し、その後、ヒットに基づいてジェネレーターを根拠付けてください。
理由: Multimodal RAGには、LLMの呼び出しだけでなく、共有埋め込み空間とretrieverが必要です。
デプロイされたマルチモーダルアプリに、プログラム可能な入力/出力安全レールを追加したい。
NeMo Guardrailsでモデルをラップし、トピック、安全性、および根拠付けポリシーを強制してください。
理由: Guardrailsは重みに組み込まれるのではなく、ポリシー層としてモデルの周りに配置されます。
生成された出力が、データセットを支配する一つのコンテンツタイプに偏っています。
データセットの分布をプロファイリングし、過小評価されているカテゴリをリバランスまたは再重み付けしてください。
理由: 生成モデルはデータ分布を反映します。不均衡は出力バイアスになります。
トレーニング前にマルチモーダルデータセットの構造とカバレッジを理解したい。
サンプルを埋め込み、クラスター（UMAP/t-SNE）を検査して、ギャップ、重複、および外れ値を見つけてください。
理由: 埋め込み空間でのEDAは、生データのカウントでは見逃されるカバレッジの穴を明らかにします。
デプロイされたマルチモーダルモデルが、新しいプロダクションデータで性能が低下します。
プロダクションの埋め込み分布をトレーニングと比較し、ドリフトを特定して再キュレーションをトリガーしてください。
理由: モデルの劣化ではなく、分布シフトが静かな品質低下の一般的な原因です。
キャプション生成の品質が悪く、モデルではなくデータに問題があると疑っています。
キャプション-画像CLIPScore分布を計算してください。平均値が低い末尾は、データのアライメント問題を確認します。
理由: アライメントを定量化することで、データの問題とモデリングの問題を切り分けます。
FIDは低下しましたが、レビューアーは画像が悪くなったと言っています。この矛盾を解決したい。
CLIPScoreと人間の評価で相互チェックしてください。FID単独では分布的なトリックによって操作される可能性があります。
理由: 単一のメトリックでは不十分です。グランドトゥルースに対してそれらを一緒に解釈してください。
text-to-imageモデルが、職業に関するプロンプトに対してステレオタイプな描写を生成します。
人口統計軸全体で出力を監査し、データをリバランスし、プロンプト/guardrailによる緩和策を追加してください。
理由: 表現上の危害は、生成メディアにおいてエッジケースではなく、第一級のリスクです。
ある機能が、実在の人物の肖像や声を合成できます。
明示的な同意を要求し、許可されたIDに制限し、出力に透かしを入れてください。
理由: 肖像や音声のクローニングは、ポリシーによって制限されなければならない同意およびなりすましの危害を引き起こします。
下流の消費者が、AI生成メディアと実際のメディアを区別する必要があります。
生成時に出所メタデータ（C2PAスタイル）および/または目に見えない透かしを埋め込んでください。
理由: 出所を示すことは、合成メディアの誤用に対する標準的な緩和策です。
マルチモーダルRAGアシスタントが、取得された画像には存在しないコンテンツを自信満々に説明します。
生成を検索された証拠に制約し、根拠付け/引用チェックを追加してください。
理由: 根拠のないマルチモーダル出力は幻覚です。主張は情報源に戻して関連付けてください。
デプロイされた画像生成器が安全でないコンテンツを生成するのを防ぎたい。
入力プロンプトと出力画像の安全分類器に加えてdenylistを適用してください。違反をブロックし、ログに記録してください。
理由: 安全性はプロンプトと出力の両方の段階で強制される必要があります。片方だけでは漏れが生じます。
実行時にマルチモーダルチャットアプリでトピックと安全ポリシーを強制したい。
モデルの周りにプログラム可能な入力、出力、およびトピックレールにはNeMo Guardrailsを使用してください。
理由: Guardrailsは、モデルの重みとは独立した監査可能なポリシー層を提供します。
ステークホルダーが、モデルが著作権保護された画像やプライベートな画像を再現する可能性があるかどうか尋ねています。
データソース/ライセンスを文書化し、記憶を制限するために重複排除を行い、逐語的な再生成についてテストしてください。
理由: 記憶のリスクは信頼と法的な問題です。透明性と重複排除がその制御策です。