AIモデルはどのように訓練されるのか: 教師あり学習、教師なし学習、強化学習、転移学習など

AIモデルとMLモデルがどのように訓練されるのかを平易な言葉で解説するガイド - 学習パラダイム（教師あり学習、教師なし学習、半教師あり学習、自己教師あり学習、強化学習）、基盤モデルの適応方法（プロンプティング、RAG、ファインチューニング、転移学習）、さらに評価、過学習、そしてAIF-C01のような基礎的なAI試験が問う概念まで。

著者：CertLabPro TeamSeptember 15, 202624 min read

10人に「AIモデルはどのように訓練されるのか」と尋ねると、10通りの答えが返ってきます。なぜなら、単一の手法など存在しないからです。正しい手法は2つの問いに左右されます。どんなデータを持っているか、そしてモデルをゼロから構築するのか、それとも既存のモデルを適応させるのか。この2つを整理すれば、教師あり学習、教師なし学習、強化学習、転移学習、ファインチューニング、RAG、RLHFといった用語の動物園が、シンプルな地図にまとまります。

このガイドはその地図を端から端まで案内します。プロバイダーに依存しない内容ですが（概念はAWS、Azure、Google Cloud、その他どこでも同じです）、基礎的なAI認定資格を念頭に置いて書かれています - AWS AI Practitioner (AIF-C01)、Azure AI Fundamentals、Google Cloud Generative AI Leader、そしてそれらに類する試験は、まさにこれらの考え方を問います。試験がある概念を特定の形で重視している箇所には、「試験では。」というメモを添えています。長い内容なので、セクションごとに拾い読みするリファレンスとして扱ってください。

すべてを整理する2つの問い

人々が混同しがちな「訓練」には、2つの異なる意味があります。

モデルがデータからどう学ぶか - 学習パラダイム。これはデータの形（ラベル付きか、ラベルなしか、報酬シグナルか）についてのものであり、どのアルゴリズムのファミリーが適用されるかを決めます。教師あり学習、教師なし学習、半教師あり学習、自己教師あり学習、強化学習がここに属します。
既存のモデルをどう適応させるか - カスタマイズの階段。現代のAIがゼロから始まることはめったにありません。事前学習済みの基盤モデルを取り、安価なプロンプトの調整から高価な再訓練まで、それを適応させます。プロンプトエンジニアリング、RAG、ファインチューニング、継続事前学習がここに属します。

この2つの意味を分けて考えましょう。1つ目は「これはどんな種類の学習問題か」です。2つ目は「すでに存在するモデルがあるとして、どれだけ変更するか」です。ほとんどの試験問題は、実際にはシナリオがどちらの箱に入るかを問うています。

パート1: 学習パラダイム

教師あり学習

内容。 モデルはラベル付きの例から学びます - 入力と正しい答えがペアになったものです。スパムまたは非スパムとタグ付けされた何千通ものメールを見せると、モデルはメールからラベルへの対応関係を学びます。

理由。 ラベル付きデータと予測すべき明確なターゲットがある場合、これが最も直接的で正確なアプローチです。本番環境における従来のMLの大半を支えています。

方法。 予測する対象によって2つのサブタイプがあります。

分類 - カテゴリを予測する（スパムか否か、20種類の病気のどれか、不正か正当か）。
回帰 - 連続的な数値を予測する（住宅価格、明日の需要、予想売上）。

ラベル付きデータを分割し、既知の答えに対する誤差を最小化するようにモデルを訓練し、取り分けておいた例をどれだけうまく予測できるかを測定します。

試験では。 きっかけとなるフレーズは「ラベル付きデータ」です。シナリオが既知の正しい出力を持つ入力を渡し、カテゴリや値を予測するよう求めているなら、それは教師あり学習です。分類か回帰かは、答えがクラスなのか数値なのかで決まります。

教師なし学習

内容。 モデルはラベルなしデータから学びます - 正しい答えは与えられません。自力で構造を見つけ出します。

理由。 現実世界のデータの大半はラベルなしであり、ラベル付けにはコストがかかります。既知のターゲットを予測するのではなくパターンを発見したいとき、これがそのツールです。

方法。 主な仕事は次のとおりです。

クラスタリング - 類似したアイテムをグループ化する（顧客セグメンテーション、トピックによる文書のグループ化）。
次元削減 - シグナルを保ったまま多くの特徴量を少数に圧縮する（可視化や下流モデルの高速化のため）。
異常検知 - 学習したパターンに合わない点を検出する（不正、侵入、不良品）。

試験では。 きっかけは「ラベルなしデータ」に加えて、「セグメント化する」「グループ化する」「異常なものを見つける」といった目標です。顧客セグメンテーションのためのクラスタリングは、目にする最も一般的な教師なし学習の例です。

半教師あり学習

内容。 中間的な立場です。少量のラベル付きデータに加えて、大量のラベルなしデータのプールがあります。

理由。 ラベル付けにはコストがかかり、多くの場合ほんの一部にしかラベルを付けられません。半教師あり学習は、わずかなラベルを使ってはるかに大きなラベルなし集合全体の学習を導き、ラベルだけで得られる以上の良い結果を出します。

方法。 典型的なパターンとして、ラベル付きの部分集合で訓練し、そのモデルを使ってラベルなしデータにラベルを付け（疑似ラベリング）、それから結合した集合で再訓練します。これはアノテーションのコストを削減し、汎化性能を向上させることができます。

自己教師あり学習

内容。 モデルは生データから自ら独自のラベルを作り出すため、人間によるラベル付けは不要です。典型的な例として、文中の次の単語を隠し、それを予測するようモデルを訓練します。

理由。 これは現代の基盤モデルや大規模言語モデルが事前学習される方法です。インターネット上には誰もラベル付けしきれないほど大量の生のテキスト、画像、コードがあり、次トークン（あるいはマスクトークン）予測が、そのすべてを訓練シグナルに変えます。

方法。 モデルは膨大なデータセットにわたって、自身の入力の一部を埋めたり予測したりするように訓練されます。その結果、幅広い一般知識を持つベースモデルが得られます - 流暢ではあるものの、まだ指示に従ったり人間の好みに合わせたりするようには調整されていません。

試験では。 「自己教師あり学習」という名前を頻繁に目にすることはないかもしれませんが、基盤モデルとは大量のほとんどラベルなしのデータで事前学習された大規模モデルであること、そしてこの事前学習こそが多くの下流タスクへの適応を可能にしていることは知っておく必要があります。

強化学習（とRLHF）

内容。 エージェントは環境と相互作用することで学びます。行動を取り、報酬または罰を受け取り、長期的な報酬を最大化するように調整します。ラベル付きの解答例はなく、ある行動がどれだけ良かったかというフィードバックだけがあります。

理由。 「正しい」手が事前にわからない逐次的な意思決定問題に適しています。ゲームプレイ、ロボティクス、レコメンデーション、制御システムなどです。

方法。 エージェントは状態を観測し、行動を選択し、報酬を受け取り、新しい状態に移り、これを繰り返します - 時間をかけて最も多くの報酬を得る方策（戦略）を徐々に学びます。

RLHF（人間のフィードバックからの強化学習） は、その花形の応用です。言語モデルが事前学習された後、人間がその出力をランク付けします。それらのランク付けが報酬モデルを訓練し、その後、強化学習が報酬モデルの高評価を得る出力を生成するように言語モデルを調整します。これが、現代のチャットアシスタントが単に流暢なだけでなく、有用で整合が取れている大きな理由です。

試験では。 きっかけは「フィードバック／報酬／試行錯誤から学ぶ」です。良い応答に対して報酬を得ることで改善するチャットボットは強化学習です。RLHFがLLMを人間の好みに整合させる方法であることを知っておきましょう。

パート2: MLのライフサイクル

訓練はループの中の1つのステップであり、全体ではありません。標準的なライフサイクルは次のとおりです。

問題を定義する - 何を予測するのか、そもそもMLが正しいツールなのか。（単純なルールがモデルに勝ることもあります。）
データを収集・準備する - 必要に応じて収集、クレンジング、ラベル付けを行う。
探索的データ分析 (EDA) - モデリングの前に分布、相関、品質を確認する。
特徴量エンジニアリング - ドメイン知識を使って、パターンを学びやすくする入力変数を作成または変換する。
訓練する - 訓練データにモデルを適合させる。
評価する - モデルが見たことのないデータで性能を測定する。
デプロイする - 予測のためにモデルを提供する（これを推論と呼びます）。
監視する - ドリフトや劣化を注視し、必要に応じて再訓練する。

訓練データ、検証データ、テストデータの分割。 モデルを、それが訓練したデータで評価することは決してありません。データを分割します。訓練セット はモデルを適合させ、検証セット は設定を調整して候補を比較し、テストセット はどこにも使われていないデータで最終的な正直な推定値を与えます。よくある分割は80/20のようなもので、訓練部分をさらに検証用に分割します。

試験では。 推論とは訓練済みモデルを新しいデータに使うこと（訓練とは対照的に）であること、そして特徴量エンジニアリングとはドメイン知識を使って生データからより良い入力を作ることであると知っておきましょう。

パート3: 適合と汎化

すべての勝負どころは汎化です - 訓練データだけでなく、新しいデータでうまくやることです。

過学習 - モデルが訓練データを（そのノイズも含めて）暗記し、新しいデータで失敗する。症状は、高い訓練精度に対して劣悪な本番精度、あるいは訓練を長く続けると精度が向上した後に低下すること。対策は、より多く（かつより多様な）訓練データ、正則化、早期打ち切り、ドロップアウト、あるいはより単純なモデル。
未学習 - モデルが単純すぎてパターンを捉えられず、訓練データでさえうまくいかない。対策は、より高性能なモデル、より良い特徴量、あるいはより多くの訓練。
バイアス-バリアンスのトレードオフ - バイアスは単純すぎるモデルからの誤差（未学習）、バリアンスは複雑すぎるモデルからの誤差（過学習）。複雑さを増すとバイアスは下がるがバリアンスは上がる。両者のバランスを取るのが腕の見せ所です。

試験では。 「訓練データでは素晴らしいが本番ではダメ」は過学習の典型です。想定される答えは、より多くのデータ、正則化、早期打ち切り。未学習（どこでもダメ）と混同しないようにしましょう。

パート4: モデルをどう測定するか

測定できないものは改善できません。そして正しい指標はタスクに依存します。

分類の指標。

正解率 (Accuracy) - 正しい予測の割合。クラスが均衡しているときは問題ないが、そうでないときは誤解を招く。
混同行列 - 真陽性、偽陽性、真陰性、偽陰性の完全な表。他のすべてはここから導かれる。
適合率 (Precision) - 陽性と判定したアイテムのうち、実際に陽性だったものはどれだけか。（偽陽性を罰する。）
再現率 (Recall、感度) - 真に陽性のアイテムのうち、どれだけを捉えたか。（偽陰性を罰する。）
F1スコア - 適合率と再現率の調和平均であり、両者のバランスを取る単一の数値。
AUC（ROC曲線下の面積） - モデルがクラスをどれだけうまく分離するかを、しきい値に依存せずに測る指標。

回帰の指標。

RMSE（二乗平均平方根誤差） と MAE（平均絶対誤差） - 予測が真の数値からどれだけ離れているか。

生成と言語の指標。

BLEU - 人間の参照に対する翻訳品質。
ROUGE - 要約品質（参照要約との重なり）。
BERTScore - 埋め込みを使った参照との意味的類似度。
人間による評価 - 自由形式の生成出力については、依然としてゴールドスタンダード。

試験では。 指標を選ぶのはビジネス上のコストです。見逃しが誤警報よりはるかに高コストな場合（不正、疾患スクリーニング）、再現率を最適化します。正解率は均衡した分類のデフォルト、完全な内訳が欲しいときは混同行列、翻訳／要約にはBLEU／ROUGEです。

パート5: ハイパーパラメータと訓練の動態

ハイパーパラメータ とは、訓練の前に選ぶ設定です（モデルが学習する重みとは対照的に）。主なものは次のとおりです。

エポック数 - モデルが訓練データを何回通過するか。少なすぎると未学習、多すぎると過学習。
学習率 - モデルが更新するときに踏み出すステップの大きさ。高すぎると収束せず、低すぎると這うように進む。
バッチサイズ - 1回の更新あたりの例の数。

ハイパーパラメータチューニング は最適な組み合わせの探索であり、多くの場合自動化されます（例えばAutoMLツールによって）。

訓練のハイパーパラメータを、生成モデルの 推論時の設定 と混同しないようにしましょう。

温度 (Temperature) - 低い（0に近い）と決定的で再現性のある出力になり、高いと創造的で多様な出力になる。
top-p / top-k - モデルがサンプリングできる候補トークンを制限する。

試験では。 「モデルの答えをより一貫性のある／再現性のあるものにする」は温度を下げることを意味します。「より多く訓練して精度を上げる」はエポック数を増やすことを指します（過学習という但し書き付きで）。

パート6: 基盤モデルの適応 - カスタマイズの階段

大規模なモデルをゼロから訓練することはめったにありません。事前学習済みの基盤モデルを取り、それを適応させます。安価で速いものから高価なものへと並べた手法は、このガイド全体の中で最も試験に関連する考え方です。

転移学習（包括的な考え方）

内容。 モデルがあるタスクで学んだ知識を、関連する別のタスクを行うために再利用します。ランダムな重みから始めるのではなく、すでに言語や画像を理解しているモデルから始めます。

理由。 必要なデータと計算資源を大幅に削減します。これは以下のほとんどすべての基盤にある原理です - ファインチューニングは転移学習を行う1つの具体的な方法です。

試験では。 「ゼロから構築するのではなく、事前学習済みモデルを新しいタスクに適応させる」は転移学習であり、その利点はより少ないデータ、より短い時間、より低いコストです。

段1: プロンプトエンジニアリング

内容。 モデル自体ではなく、モデルに与える指示を変えます。何も再訓練しません。

方法。 手法は次のとおりです。

ゼロショット学習 - 例を示さずに、ただ尋ねる。
ワンショット／フューショット学習（文脈内学習） - モデルがパターンを推測できるよう、プロンプトにいくつかの例題を含める。これはパラメータの更新なしに振る舞いを適応させる。
思考の連鎖 (Chain-of-thought) - より難しい問題について、モデルに段階を追って推論するよう求める。
プロンプトテンプレート - 標準化された再利用可能なプロンプト構造。

理由。 最も安価で速く、インフラ不要。常に最初にこれを試しましょう。

試験では。 フューショット学習と文脈内学習は同じ考え方です。プロンプト内の例であり、再訓練はありません。ゼロショット学習は、タスクがモデルの訓練時に見たものから遠いと、劣悪な結果になるリスクがあります。

段2: 検索拡張生成 (RAG)

内容。 クエリ時に自分のデータから関連する事実を取得してプロンプトに追加し、モデルが訓練されたことのない最新の、プライベートな、あるいは権威ある情報から答えるようにします。

方法。 文書を 埋め込み（意味を捉えた数値ベクトル）に変換し、ベクトルデータベースに格納し、ユーザーの質問に最も近いチャンクを取得し、質問とともにモデルに渡します。

理由。 答えを自分のデータに根拠づけ、再訓練なしにハルシネーションを劇的に減らします。知識が頻繁に変わるときに理想的です - モデルではなく文書を更新します。

試験では。 「モデルを会社のデータに根拠づける／ハルシネーションを減らす／再訓練なしに答えを最新に保つ」はRAGです。埋め込みは、検索を機能させる数値表現です。

段3: ファインチューニング

内容。 自分のラベル付きの例でモデルの訓練を継続し、タスクやスタイルを内面化させます。

方法。 ラベル付きデータ - 通常はプロンプトと完了のペア - を提供します。指示ファインチューニング は指示として整形された入出力ペアを使い、ドメイン適応 は専門的な振る舞いを教えます（例えば科学的あるいは法律的な用語の扱い）。LoRAのような パラメータ効率的ファインチューニング (PEFT) は、モデルのパラメータのごく一部だけを更新し、モデルの大部分を凍結したままコストを削減します。

理由。 プロンプティングとRAGでは不十分で、モデルに特定の振る舞いを確実に取らせる必要があるとき。上記の段よりもコスト（データ、計算資源）がかかります。

試験では。 ファインチューニングにはラベル付きデータ（プロンプトと完了のペア）が必要です。一貫したタスクの振る舞いやドメイン適応に使います。これはモデルを変更するのに対し、RAGはモデルをそのままにしてクエリ時に文脈を供給します。

段4: 継続事前学習

内容。 ベースモデルの事前学習を、大量のラベルなしドメインテキストで継続します。

理由。 専門分野（医療、法律、科学）の語彙と概念を大規模にモデルに教えるため、あるいはデータの進化に合わせて最新に保つため。ファインチューニングよりも高価です。

試験では。 継続事前学習は語彙と概念の習得のために大量のラベルなしドメインテキストを使い、指示ファインチューニングはタスクの振る舞いのためにラベル付きの指示ペアを使います。異なるデータ、異なる目的です。

コストの階段を一行で

プロンプトエンジニアリング（最も安価、再訓練なし） -> RAG（クエリ時に自分のデータを追加） -> ファインチューニング（ラベル付きの例で再訓練） -> 継続事前学習（ラベルなしドメインテキストで再訓練） -> ゼロからの完全な事前学習（まれ、最も高価）。問題が要求する高さまでだけ登りましょう。

パート7: モデルをより小さく、より速くする

モデルが機能したら、より安価に、あるいはより低遅延にする必要が出てくることがよくあります。

知識蒸留 - 小さな「生徒」モデルを大きな「教師」モデルを模倣するよう訓練し、サイズのごく一部で品質の大部分を保つ。
量子化 - 重みをより低い数値精度で格納する（例えば32ビットではなく8ビット）ことで、モデルを縮小し高速化する。
枝刈り (Pruning) - ほとんど寄与しない重みや構造を取り除く。

パート8: アーキテクチャ、手短に

上記のパラダイムはモデルがどう学ぶかであり、アーキテクチャはモデルが何から作られているかです。名前は認識できるようにしておくべきです。

ニューラルネットワーク／深層学習 - 階層的な特徴を学ぶ多層のネットワーク。現代のAIの基盤。
CNN - 画像に特化。
RNN - 系列のために作られた（大部分がトランスフォーマーに取って代わられた）。
トランスフォーマー - 現代のLLMの背後にあるアーキテクチャ。generative pre-trained transformerの「GPT」やBERTのようなモデル。
GAN - リアルな合成データを生成するために競い合う2つのネットワーク。
拡散モデル - ノイズを加える過程を逆転させることを学んで画像を生成する。

基礎的な試験のためにこれらを実装する必要はありませんが、例えばトランスフォーマーがLLMを支えていること、GANが合成データを生成することは知っておくべきです。

30秒の意思決定ガイド

ラベル付きデータ、カテゴリまたは数値を予測 -> 教師あり学習（分類または回帰）
ラベルなしデータ、グループや異常を見つける -> 教師なし学習（クラスタリング、異常検知）
わずかなラベルに加えて大量のラベルなしデータ -> 半教師あり学習
モデルが生データから自ら独自のラベルを作る（基盤モデルの事前学習の仕方） -> 自己教師あり学習
エージェントが報酬／フィードバックから学ぶ -> 強化学習。LLMを人間の好みに整合させる -> RLHF
事前学習済みモデルを関連するタスクに再利用 -> 転移学習
基盤モデルを適応させる、安価なものから -> プロンプトエンジニアリング、次にRAG、次にファインチューニング、次に継続事前学習
再訓練なしに、自分の最新データに答えを根拠づける -> RAG
訓練データでは素晴らしいが本番ではダメ -> 過学習（より多くのデータ、正則化、早期打ち切り）
陽性を見逃すことが非常に高コスト（不正） -> 再現率を最適化
生成出力をより一貫性のあるものにする -> 温度を下げる

これをどう学ぶか

基礎的な試験のためには、アルゴリズムを暗記するのではなく、分類を練習しましょう。各シナリオを読み、整理のための2つの問いを立てます。どんなデータを持っているか（ラベル付き、ラベルなし、報酬）、そして構築しているのか適応させているのか。それが数秒で、正しいパラダイムやカスタマイズの階段の正しい段へと導いてくれます。30秒の意思決定ガイドを開いたまま練習問題を解き、間違えたら、境界がはっきりするまでここの該当セクションに戻りましょう。合格する人を分ける概念は、境界が曖昧なものです。教師あり学習と教師なし学習、ファインチューニングとRAG、過学習と未学習、そしてカスタマイズの階段のコストの順序です。

出典: AWS Certified AI Practitioner (AIF-C01) の試験ガイドと出題ドメイン、および標準的な機械学習のリファレンス。2026年9月現在。