全体アウトライン

本書は、現代の人工知能技術の中核を担う「Transformer（トランスフォーマー）」の構造と動作原理を、基礎から実践まで分かりやすく解説する技術書です。

本書の目的と対象読者

本書は、機械学習を学び始めたエンジニアや、大規模言語モデル（LLM）の内部構造を根本から理解したい学習者を対象としています。 「なぜ従来のモデルよりも圧倒的に高性能なのか」「Attention とは具体的に何を計算しているのか」「現代の LLM に至るまでどのように改良されてきたのか」という疑問に対し、難しい数式を直感的な図解と言葉で噛み砕きながら解説します。

章構成一覧

第1章 Transformerの登場背景と歴史的意義

Transformer が登場する前の自然言語処理で主流だった RNN（再帰型ニューラルネットワーク）や LSTM、CNN の特徴と技術的限界を振り返ります。系列データを順番に処理せざるを得ない並列化の困難さや、長文を処理する際の記憶消失問題をどのように打破したのかを解説します。

第2章 Self-Attentionの数理と直感

Transformer の心臓部である「Self-Attention（自己注意機構）」の仕組みを解き明かします。Query（検索キー）、Key（照合対象）、Value（実際の情報）という 3 つの役割と、Scaled Dot-Product Attention の計算手順、そして複数の視点から文脈を捉える Multi-Head Attention の意義を学びます。

第3章 位置エンコーディングの仕組み

Transformer は単語を一度に並列処理するため、そのままでは語順の情報が失われてしまいます。語順を認識させるための Sinusoidal Positional Encoding（正弦波位置エンコーディング）の原理や、現代の LLM で主流となっている RoPE（Rotary Position Embedding）などの発展的な位置表現を解説します。

第4章 エンコーダ・デコーダの全体構造

Transformer 全体を構成するエンコーダ（理解部）とデコーダ（生成部）のブロック構造を詳しく見ていきます。残差接続（Residual Connection）、層正規化（Layer Normalization）、位置依存フィードフォワードネットワーク（FFN）、そして文章生成時に未来の単語を見ないようにするマスキング処理の役割を整理します。

第5章 主要な派生モデルの分類と進化

Transformer の構造から分岐した代表的な 3 つの系統（Encoder-only 型の BERT、Decoder-only 型の GPT、Encoder-Decoder 型の T5）を比較します。なぜ近年の生成 AI や大規模言語モデルでは Decoder-only 型が主流となったのか、そのアーキテクチャ上の理由を明らかにします。

第6章 画像・マルチモーダルへの展開

自然言語処理にとどまらず、画像認識の世界を変革した Vision Transformer（ViT）や、音声処理、マルチモーダルモデル（テキストと画像の融合）への応用を紹介します。あらゆるモダリティを「トークンの系列」として同一の枠組みで扱う Transformer の汎用性を学びます。

第7章 PyTorchによる最小実装と動作確認

Python と PyTorch を使用して、Scaled Dot-Product Attention や Multi-Head Attention をゼロから実装します。テンソルの形状（Shape）の変化を追いながら、数式がどのようにプログラムコードに変換され実行されるのかを体験します。

第8章 計算効率化と高速化技術

系列の長さに対して計算量とメモリ消費が 2 乗で増大する $O(N^2)$ の課題と、その克服に向けた高速化技術を取り上げます。推論を高速化する KV キャッシュ、Grouped-Query Attention（GQA）、そしてハードウェアのメモリ階層を最適化する FlashAttention の仕組みを解説します。

第9章 Transformerの課題と次世代アーキテクチャ

Transformer が抱える本質的な課題（計算コスト、無限コンテキストの困難さ、幻覚現象など）を整理し、それらを克服するために登場した状態空間モデル（Mamba 等）やハイブリッドアーキテクチャなど、次世代のモデル設計の動向を展望します。