5. 主要な派生モデルの分類と進化

Transformerから分岐した3つの道

原論文の Transformer はエンコーダとデコーダの両方を備えた構成でしたが、その後の研究によって「用途に合わせて片方だけを取り出す」という設計思想が広まりました。その結果、現代の自然言語処理モデルは大きく次の 3 つの系統に分類されます。

Transformer (オリジナル: Encoder + Decoder)
   │
   ├── Encoder-only 型（BERT, RoBERTa など）
   │     └─ 文脈の理解・文章の分類・検索埋め込みに特化
   │
   ├── Decoder-only 型（GPTシリーズ, LLaMA など）
   │     └─ 次の単語の予測・自由な文章生成・対話に特化
   │
   └── Encoder-Decoder 型（T5, BART など）
         └─ 入力文を別の形式へ変換するタスク（翻訳・要約）に特化

この 3 つの構造は、アテンションのマスク方法と、事前学習で解かせる課題（学習タスク）に決定的な違いがあります。

Encoder-only型（BERT系）: 文脈理解のエキスパート

2018 年に Google が発表した「BERT（Bidirectional Encoder Representations from Transformers）」は、Transformer のエンコーダ部分のみを取り出したモデルです。

BERT の最大の特徴は、文章の「左から右」と「右から左」の双方の文脈を同時に見渡せる「双方向アテンション（Bidirectional Attention）」にあります。未来の単語を隠すマスキングを行わないため、文中のすべての単語が周囲全体の単語を自由に参照できます。

▸ 事前学習タスク: マスク化言語モデル（MLM）

BERT は、入力文の一部の単語をランダムに [MASK] という特殊記号に置き換え、「穴埋め問題」を解かせることで学習します。前後の文脈を手がかりにして隠された単語を当てるため、文の構造や文脈の深い意味を極めて精密に把握する能力が身につきます。感情分析や文書分類、固有表現抽出、あるいはテキスト検索で使われる高品質なベクトル（Embedding）の抽出などに広く活用されています。

Decoder-only型（GPT系）: 文章生成のフロンティア

OpenAI が開発した GPT（Generative Pre-trained Transformer）シリーズや、Meta の LLaMA などは、デコーダ部分のみで構成されたモデルです。 Cross-Attention は存在せず、Masked Multi-Head Attention と FFN のみを積み重ねます。

▸ 事前学習タスク: 自己回帰言語モデル（Causal LM）

GPT は、「与えられたテキストの続きに来る、もっとも自然な次の 1 単語（トークン）を予測する」という極めてシンプルなタスク（Next-token Prediction）を解き続けます。未来の単語を見ない因果的アテンション（Causal Attention）を採用しているため、文章を最初から最後まで流暢に生成することに長けています。

Encoder-Decoder型（T5系）: 万能なテキスト変換器

Google が 2019 年に発表した「T5（Text-to-Text Transfer Transformer）」は、元の Transformer と同様にエンコーダとデコーダの両方を維持したモデルです。「すべてのタスクをテキスト入力からテキスト出力への変換として解く」という思想で作られました。

たとえば翻訳なら「translate English to German: That is good」を入力して「Das ist gut」を出力し、要約なら「summarize: …」を入力して要約文を出力します。入力文全体をエンコーダでじっくり分析し、その結果をもとにデコーダで柔軟に出力を組み立てられるため、機械翻訳や長文要約などのタスクで非常に高い安定性を発揮しました。

なぜ現代のLLMは「Decoder-only」が主流となったのか

2020 年代以降、ChatGPT や Claude、Gemini、LLaMA をはじめとする大規模言語モデルのほぼすべてが「Decoder-only 型」を採用しています。一見すると、双方向の文脈を読める BERT や、入力と出力を分離できる T5 のほうが優れているように思えます。なぜ Decoder-only が業界標準を勝ち取ったのでしょうか。主な理由は 3 つあります。

▸ 1. あらゆるタスクの統一と In-context Learning

Decoder-only モデルは、入力（プロンプト）と出力（回答）の区別がありません。「質問と回答」をただ 1 本のテキストとしてつなげて流し込むだけで、モデルは自然と文脈を読み取り、続きを生成します。これにより、特定のタスク向けにモデルの構造を変えたり再学習したりすることなく、プロンプトの指示だけで即座に新しいタスクをこなす「汎用知能（In-context Learning）」が発現しました。

▸ 2. 計算効率とスケーリングの優位性

エンコーダとデコーダを分けると、エンコーダの計算が終わるまでデコーダの処理が待たされるなど、ハードウェアの並列パイプラインが複雑になります。 Decoder-only 型は構造が完全に均一であるため、超巨大クラスタの GPU 群へ均等に計算を分散させる「テンソル並列」や「パイプライン並列」の実装がはるかに容易でした。また、ウェブ上の膨大な生テキストを一切の加工なしに「続きの予測」としてそのまま投入できるため、データの学習効率も最大化されました。

▸ 3. 推論時における KV キャッシュとの相性の良さ

文章生成時の推論では、過去に計算した単語の Key と Value のベクトルをメモリに保存しておく「KV キャッシュ」という技術を使います。 Decoder-only 型では、新しい単語を 1 つ生成するときに「直前の 1 トークン分」だけを行列計算すればよいため、余分な計算が一切発生せず、推論のループを極めて高速に回すことができます。