1. LLaMAの概要と登場背景

LLaMAとは何か

LLaMA（Large Language Model Meta AI）は、Meta（旧 Facebook）の研究部門が 2023 年 2 月に公開した基底言語モデルのシリーズです。モデルのパラメータ規模は 7B（70億）、13B（130億）、33B（330億）、65B（650億）の 4 種類が用意され、それまでの標準的な巨大言語モデルよりも比較的小さなサイズでありながら、非常に高い性能を達成しました。

従来の最先端モデルの多くは、何千億もの膨大なパラメータを持ち、巨大なデータセンターでしか動作させることが困難でした。 LLaMA はモデル自体のサイズを抑えつつ、事前学習に投入するデータ量を劇的に増やすことで、家庭用のコンピュータや小規模なサーバー環境でも動作可能な実用性と高性能を両立させました。

巨大モデル競争と「小さくて賢いモデル」への転換

2020 年に OpenAI が GPT-3（1750億パラメータ）を発表して以降、AI 業界では「パラメータ数を大きくすればするほど賢くなる」という方針が主流でした。しかし、モデルが巨大化するほど、学習コストだけでなく推論（質問に答える処理）に必要な GPU のメモリや電力も跳ね上がります。日常的に実サービスで運用するにはコストが高すぎるという問題が生じていました。

LLaMA はこの課題に対して「モデルサイズを小さく抑えたまま、より多くのデータで徹底的に学習させる」という新しいアプローチを提示しました。推論時の計算コストはモデルのパラメータ数に比例するため、モデルが小さければ小さいほど、安価なハードウェアで高速に応答を返すことができます。

Chinchillaのスケーリング則とLLaMAの着眼点

2022 年に DeepMind が発表した「Chinchilla（チンチラ）のスケーリング則」と呼ばれる研究成果が、LLaMA の開発に決定的な影響を与えました。従来の法則（Kaplan の法則）ではモデルサイズと学習トークン数を同等に増やすことが最適とされていましたが、Chinchilla の研究は「既存のモデルの多くは学習データ量が不足しており、パラメータを増やすよりもデータを増やすほうが計算効率が良い」と指摘しました。

LLaMA はこの法則をさらに一歩進めました。「学習時の最適な計算予算」を超えて、あえて過剰な量のトークン（7B や 13B のモデルに対して 1 兆トークン以上、65B には 1.4 兆トークン）を学習させました。学習時の計算コストが多少余分にかかったとしても、一度完成したモデルを世界中で何億回も推論させる運用コストを考えれば、小さくて高性能なモデルのほうが圧倒的に経済的だからです。

オープンソースAIコミュニティへの波及効果

LLaMA の登場は、それまで大手テック企業に独占されていた最先端 AI の研究開発を、一般の開発者や学術機関に開放する契機となりました。 7B や 13B のモデルであれば、一般的なゲーミング PC やクラウドの安価なインスタンスでも動作させることができます。

世界中の開発者が LLaMA を土台にして、追加学習（ファインチューニング）や量子化の実験を始めました。スタンフォード大学が発表した Alpaca（アルパカ）や、Vicuna（ビクーニャ）などの派生モデルが次々と誕生し、指示に従って対話するチャットボット技術が個人開発者の手によって急速に進化しました。

初代LLaMAのライセンスとコミュニティの葛藤

初代 LLaMA の学習済み重み（ウェイト）は、当初は学術研究者向けに限定された申請制で配布されました。商用利用は禁止されており、研究目的のみに利用が制限されていました。しかし、発表から間もなくトレントファイルなどを通じて重みがインターネット全体に流出し、誰もがダウンロードできる状態となりました。