教師あり・教師なし・強化学習の違いとは?機械学習の3つの学び方を解説

機械学習の3大パラダイム——正解を教わる教師あり学習、データの構造を自分で見つける教師なし学習、試行錯誤と報酬で学ぶ強化学習——の違いと使い分けを、分類・回帰・クラスタリング・AlphaGoなどの具体例と比較表で非専門家向けに解説します。

教師あり・教師なし・強化学習の違いとは?機械学習の3つの学び方を解説

「機械学習」と一口に言っても、AIの学ばせ方には大きく分けて3つのやり方があります。教師あり学習・教師なし学習・強化学習 です。スパムメールの判定、顧客の自動グループ分け、囲碁で世界チャンピオンを破ったAI——これらはすべて機械学習ですが、その「学び方」はまったく異なります。

この3つの違いがわかると、「このAIは何をどうやって学んだのか」「自社の課題にはどのタイプが向くのか」という見立てがぐっと立てやすくなります。そして実は、ChatGPTのような大規模言語モデル(LLM)は、この3つを巧みに組み合わせて作られています。

この記事では、機械学習の3大パラダイムの違いを、具体例と比較表を使って非専門家向けに整理します。AIの土台であるニューラルネットワークAI・機械学習・ディープラーニングの違いを、「学び方」という別の切り口から捉え直す記事です。

なぜ3つに分けるのか

機械学習とは、人間がルールを1つずつ書き下す代わりに、データからパターンを学ばせる手法です。ただし「どんなデータを与え、何を手がかりに学ばせるか」によって、アプローチは大きく変わります。その手がかりの違いが、3つのパラダイムを分ける軸になります。

ざっくり言えば、正解を教えてもらって学ぶのが教師あり学習、正解なしでデータの構造を自分で見つけるのが教師なし学習、行動した結果のごほうび(報酬)を頼りに学ぶのが強化学習です。順に見ていきましょう。

教師あり学習:正解付きのお手本から学ぶ

最も広く使われているのが 教師あり学習(supervised learning) です。Wikipediaは「アルゴリズムが、入力と出力の例のペアにもとづいて、入力データを特定の出力へ対応づけることを学ぶ機械学習のパラダイム」1と定義しています。

ポイントは ラベル付きデータ を使うことです。Wikipediaは「ラベル付きデータ、すなわち各入力データに正しい出力が添えられたデータを使ってモデルを訓練する」1と説明します。「教師あり」という名前は、teacher(教師)やsupervisor(監督者)が訓練データを与え、アルゴリズムを正しい予測へと導くことに由来します1。たとえば「この画像は猫、これは犬」という正解ラベルをつけた大量の写真を見せ、新しい写真の正解を当てられるようにする——というイメージです。

教師あり学習の代表的なタスクは2種類です。Wikipediaは「カテゴリを予測する分類(例:スパムかスパムでないか)と、連続値を予測する回帰(例:住宅価格)」1を挙げています。最終的な目標は「訓練したモデルが、新しい未知のデータに対して正確に出力を予測すること」1、つまり丸暗記ではなく未知のデータへ一般化する力です。

用途やること身近な例
分類(classification)データをカテゴリに振り分けるスパム判定、画像の物体認識、病気の診断
回帰(regression)連続的な数値を予測する住宅価格の予測、需要予測、気温予測

弱点は、正解ラベルを人間が用意するコスト です。何万枚もの画像に1枚ずつ「正解」をつける作業は手間も費用もかかります。このラベル付けの壁が、次の教師なし学習が注目される理由のひとつになっています。

教師なし学習:正解なしで構造を見つける

教師なし学習(unsupervised learning) は、正解ラベルのないデータからパターンや構造を見つけ出す手法です。Wikipediaは「教師あり学習とは対照的に、ラベルのないデータだけからパターンを学ぶ機械学習の枠組み」2と定義しています。正解を教える教師がいないので、AIはデータそのものの中にある「似たもの同士」や「隠れた軸」を自力で探します。

利点は、ラベル付けが要らないこと です。Wikipediaは、データが「ウェブクローリングで集めた巨大なテキストコーパスのように、『野生の状態』で安価に収集される」2と述べます。人手で正解をつける必要がないため、大量のデータをそのまま活かせます。

代表的な手法が クラスタリング(cluster analysis) です。Wikipediaは「教師なし学習では、共通の属性を持つデータセットをグループ化・セグメント化するためにクラスター分析が使われる」2と説明します。たとえば購買データから「似た買い方をする顧客層」を、こちらがカテゴリを決めなくてもAIが自動で見つけ出します。もうひとつが 次元削減(dimensionality reduction) で、Wikipediaはk-meansのようなクラスタリングや「主成分分析(PCA)のような次元削減技術」2を代表例に挙げています。たくさんの特徴を、本質を保ったまま少数の軸に圧縮する手法です。

用途やること身近な例
クラスタリング似たデータを自動でグループ化顧客セグメント、ニュース記事の自動分類
次元削減多数の特徴を少数の軸に圧縮データ可視化、ノイズ除去、特徴抽出

教師なし学習は「答えがあらかじめ決まっていない探索的な分析」に向きます。一方で、出てきたグループが何を意味するのかは人間が解釈する必要があり、「正解との一致」で精度を測りにくいという難しさもあります。

強化学習:試行錯誤と報酬から学ぶ

3つ目の 強化学習(reinforcement learning) は、これまでの2つとはかなり毛色が違います。データセットを眺めて学ぶのではなく、環境の中で行動し、その結果として得られる報酬を頼りに、試行錯誤しながら学ぶ 手法です。Wikipediaは強化学習を「知的なエージェントが、報酬信号を最大化するために、動的な環境の中でどう行動すべきか」3を扱う分野だと説明します。

中心にあるのが エージェント(行動する主体)環境 のやりとりです。Wikipediaは「エージェントは環境の中で行動し、それが報酬と状態の表現に変換されてエージェントに返される」3と述べます。エージェントは、まだ知らない行動を試す「探索(exploration)」と、すでに分かっている最善の行動をとる「活用(exploitation)」のあいだでバランスを取りながら3、目先の報酬の積み重ねを最大化する方針(policy)を学んでいきます3

決定的な違いは、正解ラベルが存在しないこと です。Wikipediaは「教師あり学習と教師なし学習がそれぞれラベル付き・ラベルなしのデータからパターンを見つけようとするのに対し、強化学習はエージェントを環境との相互作用を通じて訓練する」3と整理します。「正解の手」を教わるのではなく、「勝てば報酬、負ければ罰」という形でフィードバックを受け、何百万回もの試行から良い行動を自分で見つけ出すのです。

その威力を世界に示したのが、Google傘下のDeepMindが開発した囲碁AI AlphaGo です。2016年にNature誌に掲載された論文によれば、AlphaGoは「人間の専門家の棋譜からの教師あり学習と、自己対局からの強化学習を組み合わせて」4訓練されました。さらにWikipediaは「自分自身の別バージョンと多数の対局を行わせ、強化学習で打ち方を改善していった」5と記しています。そして2016年3月、AlphaGoは世界トップ棋士のイ・セドル(Lee Sedol)との五番勝負を4勝1敗で制しました5。人間が「正解の打ち方」を教えたのではなく、AIが自己対局の試行錯誤から人間を超える戦略を編み出した点が画期的でした。

3つの違いを一枚の表で

ここまでの違いを整理すると、次のようになります。

観点教師あり学習教師なし学習強化学習
学びの手がかり正解ラベル付きデータ1ラベルなしデータ2行動への報酬3
何を学ぶか入力→出力の対応1データの構造・パターン2良い行動の方針3
代表タスク分類・回帰1クラスタリング・次元削減2ゲーム・制御・最適化
人間の役割正解を用意する結果を解釈する報酬の設計をする
代表例スパム判定・画像認識顧客セグメントAlphaGo45

どれが優れているという話ではなく、解きたい問題とデータの性質によって使い分ける ものだと捉えるのが正確です。正解データが用意できるなら教師あり、構造を探りたいなら教師なし、試行錯誤できる環境があるなら強化学習、という見立てになります。

生成AI・LLMは3つをどう組み合わせているか

ここまでを踏まえると、ChatGPTやClaudeのような大規模言語モデル(LLM)がどう作られているかも見えてきます。LLMは、単一のパラダイムではなく、複数の学び方を段階的に重ねて作られています。

まず土台となる 事前学習 では、ウェブ上の膨大なテキストを使い、「次に来る単語を予測する」課題を解かせます。これは人手で正解ラベルをつけるのではなく、データ自身(文章の続き)が正解を与えるやり方で、自己教師あり学習 と呼ばれます。Wikipediaは自己教師あり学習を「外部から与えられるラベルに頼るのではなく、データそのものを使って教師信号を生成する」6手法と定義し、「サンプルデータにラベルを必要としない点で教師なし学習に似ている」6と述べます。つまり、教師なし学習に近い「ラベル不要」の性質を活かして、世界中のテキストをそのまま栄養にしているのです。

そのうえで、人間にとって有用で自然な応答に仕上げる段階で 強化学習 が登場します。人間が応答の良し悪しを評価して報酬の代わりにし、その報酬を最大化するようモデルを調整する手法がRLHF(人間のフィードバックによる強化学習)です。AlphaGoが「勝敗」という報酬で強くなったように、対話AIは「人間の好み」という報酬で自然さを身につけている、と整理できます。特定用途に合わせて追加調整するファインチューニングも、多くは正解例を見せる教師あり学習の応用です。

使い分けの勘どころ

3つのパラダイムは、対立するものではなく 道具箱の中の別々の道具 です。AIの活用を検討するとき、「正解データが揃っているか」「探索できる環境があるか」を問うだけで、どのアプローチが現実的かの当たりがつきます。正解付きデータが豊富なら教師あり学習が最短距離ですし、何が起きているか分からないデータから示唆を得たいなら教師なし学習、ルールが明確で試行錯誤を繰り返せる領域なら強化学習が力を発揮します。

そして現代の生成AIは、この3つを巧みに連結することで成り立っています。それぞれの学び方の中身をさらに知りたい方は、報酬で対話AIを仕上げるRLHFや、すべての土台にあるニューラルネットワークの記事へ読み進めると、「AIが学習する」という言葉の奥行きがより立体的に見えてきます。

Sources

  1. Supervised learning - Wikipedia(教師あり学習の定義・分類・回帰)
  2. Unsupervised learning - Wikipedia(教師なし学習・クラスタリング・次元削減)
  3. Reinforcement learning - Wikipedia(強化学習・エージェント・報酬)
  4. Mastering the game of Go with deep neural networks and tree search - Silver et al.、Nature 529:484-489(2016年)。AlphaGoの論文
  5. AlphaGo - Wikipedia(AlphaGoとイ・セドル戦)
  6. Self-supervised learning - Wikipedia(自己教師あり学習)

最新のAIニュースを毎日お届けしています。

RSSで購読する 更新をいち早くチェックできます。

他のキーワードで探す →