1. Transformerの登場背景と歴史的意義

自然言語処理における系列変換の課題

文章や音声、プログラムコードのようなデータは、要素が特定の順序で並ぶ「系列データ（Sequence Data）」と呼ばれます。たとえば日本語の文章では、単語が並ぶ順序によって文章全体の意味が大きく変化します。自然言語処理における機械翻訳や文書要約、質問応答といったタスクは、ある系列を入力として受け取り、別の系列を出力する「系列変換（Sequence-to-Sequence: Seq2Seq）」の問題として捉えられます。

従来のディープラーニングでは、このような系列データを扱うために「過去の情報を記憶しながら 1 単語ずつ順番に読み進める」というアプローチが主流でした。しかし、この直感的な処理方式には、コンピュータの計算効率や記憶の保持という面で大きな制約が存在していました。

RNNとLSTMの仕組みと限界

2010 年代半ばまで系列処理の主役だったのは、RNN（Recurrent Neural Network: 再帰型ニューラルネットワーク）や、その改良版である LSTM（Long Short-Term Memory）、GRU（Gated Recurrent Unit）でした。 RNN は、過去の単語を読んだ結果を「隠れ状態（Hidden State）」という固定長のベクトルに蓄積し、次の単語を処理する際に引き渡していく構造を持ちます。

単語1 ───> [ RNNセル ] ───> 隠れ状態1
               │
単語2 ───> [ RNNセル ] ───> 隠れ状態2
               │
単語3 ───> [ RNNセル ] ───> 隠れ状態3

この RNN の構造には、解決が困難な 2 つの根本的な弱点がありました。

▸ 逐次処理による並列計算の不可能性

RNN は直前の単語の計算結果（隠れ状態）が出揃わない限り、次の単語の計算を始めることができません。現代の GPU（グラフィックス処理装置）は、数千から数万の計算を同時に並列実行することで真価を発揮します。 RNN のような逐次処理（ループ処理）では、GPU の計算資源を十分に活かすことができず、膨大なテキストデータを高速に学習させることが困難でした。

▸ 長距離依存関係と記憶消失の問題

文頭の単語が文末の単語と密接に関連している場合、その情報は長い単語の連鎖を経て受け渡される必要があります。しかし、ニューラルネットワークを何十層も通り抜けるうちに、過去の情報は徐々に薄れ、数学的には勾配消失（Gradient Vanishing）という現象によって学習が進まなくなります。 LSTM や GRU はゲート機構によってこの問題を緩和しましたが、数十単語を超える長い文章になると、依然として文頭の詳細なニュアンスを保持することは困難でした。

初期のAttention機構とSeq2Seqの進化

2014 年から 2015 年にかけて、Bahdanau らや Luong らの研究によって「Attention（注意機構）」が提案されました。従来の Seq2Seq では、入力文全体の情報をたったひとつの固定長ベクトルに圧縮してデコーダに渡していたため、情報が溢れてしまうという「情報ボトルの首（情報ボトルネック）」が生じていました。

Attention 機構は、出力文の単語を生成するたびに、入力文のすべての単語の中から「いま注目すべき単語」を動的に選び出し、その情報を直接参照する仕組みです。たとえば「彼女はリンゴを食べた」を英語に翻訳して「ate」を生成するとき、入力文の「食べた」という単語に強い注意（重み）を向けます。この Attention の導入により、機械翻訳の精度は劇的に向上しました。

しかし、この当時の Attention は、依然として RNN の枠組みの上に載せられた「補助的な部品」に過ぎませんでした。根本的な計算構造が RNN である以上、並列化できないという計算速度の壁を突破することはできませんでした。

2017年「Attention Is All You Need」の衝撃

2017 年、Google の研究チーム（Ashish Vaswani ら）は、機械学習の歴史を塗り替える画期的な論文を発表しました。その論文のタイトルこそが『Attention Is All You Need（必要なのは注意機構だけだ）』です。

この論文の核心は、これまで系列処理の常識とされていた RNN や畳み込みニューラルネットワーク（CNN）を一切使わず、「Attention のみでネットワーク全体を構築する」という極めて大胆な宣言でした。こうして誕生した新しいアーキテクチャが「Transformer」です。

graph LR
    subgraph 従来のアプローチ
        RNN["RNN / LSTM<br/>（直列処理・再帰）"] --> Attn1["補助としての Attention"]
    end
    subgraph Transformer
        Attn2["Self-Attention<br/>（完全並列・全体直結）"]
    end

Transformer は、文中のすべての単語同士の関係性を一度の行列計算で並列に計算します。これにより、100 単語離れた単語同士であっても、わずか 1 ステップの計算で直接結びつけることが可能になりました。

パラダイムシフトと現代AIの夜明け

Transformer の登場は、単なるひとつの新モデルの誕生にとどまらず、深層学習全体の研究と産業の方向性を決定づけました。

第一に、GPU による完全な並列学習が可能になったことで、数億から数千億単語に及ぶウェブ規模の大規模テキストを現実的な時間で学習できるようになりました。第二に、系列が長くなっても情報が劣化しないため、文脈理解の精度が飛躍的に向上しました。