全体アウトライン

本書は、大規模言語モデル（LLM）のオープン化とローカル実行革命の中心にある技術群「LLaMA」「OpenLLaMA」「llama.cpp」を、基礎から実践まで分かりやすく解説する技術書です。

本書の目的と対象読者

商用 API に依存せず、自身の PC や自社環境で LLM を動かしたいエンジニアや学習者を対象としています。 「LLM の内部でどのような数式や工夫が使われているのか」「なぜ民生用 PC で数十億パラメータのモデルが動くのか」「オープンソース AI はどのように発展してきたのか」という疑問に、数式や専門用語をやさしく噛み砕きながら答えます。

章構成一覧

第1章 LLaMAの概要と登場背景

Meta（旧 Facebook）が 2023 年 2 月に発表した LLaMA の登場背景と、その後のオープンソース AI コミュニティに与えた歴史的インパクトを解説します。プロプライエタリな巨大モデルに対する「小さくて賢いモデル」というパラダイムシフトを概観します。

第2章 LLaMAのモデルアーキテクチャ

標準的な Transformer からの改良点を詳細に解説します。事前正規化（Pre-normalization）と RMSNorm、活性化関数 SwiGLU、回転位置埋め込み（RoPE: Rotary Position Embedding）、推論を支える KV キャッシュの仕組みを解き明かします。

第3章 高速化とスケーリング技術

モデルの大規模化と長文脈対応を支える技術を解説します。マルチヘッドアテンション（MHA）の計算・メモリ負荷を解決する Grouped-Query Attention（GQA）の原理や、コンテキスト拡張の手法、学習データの質とスケーリング則を学びます。

第4章 OpenLLaMAとオープンな完全再現

初代 LLaMA が非商用研究限定ライセンスだったことで生じた課題と、それを解決するために生まれた完全オープンな再現プロジェクト「OpenLLaMA」を取り上げます。オープンデータセット「RedPajama」による学習過程と、再現実装の価値を解説します。

第5章 llama.cppの設計思想と基礎

Georgi Gerganov 氏によって開発された純粋な C/C++ による推論エンジン「llama.cpp」の設計思想を解説します。外部ライブラリに依存しないゼロ依存設計や、ファイルフォーマットの進化（GGML から GGUF へ）の背景を学びます。

第6章 量子化技術と推論最適化

民生用 PC やスマートフォンでモデルを動作させる鍵となる「モデル量子化」の仕組みを解説します。浮動小数点（FP16/FP32）から 8bit/4bit への変換原理、k-quants（Q4_K_M など）の工夫、CPU/GPU ハイブリッド推論の仕組みを理解します。

第7章 llama.cppの実践とエコシステム

実際に llama.cpp を使ってモデルを動かす手順をハンズオン形式で解説します。ソースコードのビルド、GGUF モデルの取得、CLI コマンドでの対話生成、ローカル API サーバーの立ち上げ、Python バインディング（llama-cpp-python）の利用法を紹介します。

第8章 LLaMAエコシステムの発展と今後の展望

LLaMA 2、Llama 3、そして派生するオープンモデル（Mistral、Qwen など）への波及効果と、ローカル AI・エッジ AI が切り拓くプライバシー保護と組み込み応用の未来を総括します。さらに、最新の推論エンジン「Strata」の技術や llama.cpp との違いについても整理します。