LLM

Large Language Model（大規模言語モデル）

NLP

Neural Language Processing（自然言語処理）

CLIP

Constractive Language-Image Pre-Training.

2021年OpenAIが公開した画像からベクトルを生成する機械学習モデル．GPT-2やGPT-3のゼロショット学習と同様に、タスクに特化した最適化をせず、「画像が与えられたときに、もっとも類似度の高いテキストを選択することで、分類問題を解く」というモデルです。訓練データがなくても画像分類ができるという画期的なフレームワークです。

CLIPの革新性は、訓練データが不要なだけでなく、「画像と言語の分散表現を学習する」ことで応用範囲が格段に広がる点です。従来の画像だけの学習では、訓練データセット内の限られた表現しか学習できませんでした。しかし、言語モデルの豊富な表現力を利用することで、ゼロショット転移性を持つ（訓練データにない分布にも適応できる）ようになりました。これが非常に強いのです。これにより、さまざまな画像認識タスクがゼロショット方面に拡張されます。

CLIPは現在のVision & Languageの研究の基礎となっており、多くのモデルで活用されています。最近の話題の生成モデルや基盤モデルも、CLIPの影響を大きく受けているものが多数あります。

• Zero-shot Learning入門
• Zero-shot Learning網羅的サーベイ：CLIPが切り開いたVision & Languageの新しい世界
• CLIPから見るAttentionの有用性
• 高性能な日本語マルチモーダル基盤モデル「clip-japanese-base」を公開しました

BLIP

BLIPは、ブートストラップ法を用いた基盤モデルで、ALBEFの改良版です。ただし、BLIPにはv1とv2があり、それぞれでブートストラップの意味が異なるため注意が必要です。v1のBLIPでは、データのデータストラップを指します。

BLIPは、ノイズの多いデータに対して工夫を凝らした訓練方法で精度を向上させています。これは、手作業でアノテーションされた画像-キャプションのデータが限られているため、インターネットからクロールしたalt属性のテキストをデータとして利用することが一般的になっているためです。しかし、alt属性はノイジーなデータであるため、キャプションにブートストラップ法を適用して精度を向上させます。本手法の特徴的な部分に「Multimodal Mixture of Encoder-Decoder」と「CapFilt」があります。

「Multimodal Mixture of Encoder-Decoder」は、効果的なマルチタスクの事前訓練と柔軟な転移学習を実現するためのもので、ユニモーダルのエンコーダ、画像に基づくテキストエンコーダ、画像に基づくテキストデコーダとして機能します。「CapFilt」はブートストラップ法の部分で、キャプション生成を行うか、ノイズの多いキャプションを除去するかを選択する機能を持っています。

---

• BLIP : SalesForce Research社 2022年1月
• BLIP-2 : SalesForce Research社 2023年1月

BLIPは、画像からキャプション（説明文）を生成するモデルとして開発されました。その後、学習を高速化するために、既存の画像エンコーダー（ImageEncoder: 画像を数値データに変換するモデル）と大規模言語モデル（LLM: Large Language Model）を活用し、効率的な構造を構築。これにより、視覚質問応答（VQA: Visual Question Answering、タスク: 画像に対する質問に答える処理）が可能になりました。

単に画像とキャプションの対応を学習させるだけでは、モデルが画像を見て感じたことを長々と出力してしまうことがあります。しかし、指示に従う学習（Instruct型学習）を導入することで、モデルの出力がユーザーの意図に合致するように調整（アライメント）され、ユーザーが聞きたいことだけを正確に答えるBLIPモデルへと進化しました。これは、GPT-3がChatGPT（GPT-3.5）で用いられるような調整に似ています。

Q-Formerと書かれてる部分がそうなんですが、この部分が「こんな質問が来たらこんな風に答えるとよいよ！」というような視覚情報がまとめられた場所になっており、それがDecoder的存在であるLLMに運ばれて、LLMにとってはまさに「カンペ」として機能します。必要に応じて、Q-Formerが出力した次元にあわせるためにDense層（全結合層）を用いて次元変換を行い、LLMに理解できるようまとめたベクトルをLLMに対して渡すと。

そして、そこにInstruction、つまりは質問なり前提事項などをプロンプト文として放り込むことによって、LLMが質問に答えてくれるんですね。

Q-Formerの中身はみてみると一般的なTransformerによく似た構造をとっていて、その横に並行する形でテキストを処理するためのSelfAttention層とFFNで構成されています。この両者間のSelfAttention層同士は互いにメモリ情報を共有できるようにしていて、その学習用途に応じてAttention-Maskがかかるようになっています。

学習のバリエーションはBLIP-2モデルでは3つありまして、

• ITC(画像表現とテキスト表現の整合性を学習するタスク）
• ITG(Q-Formerが画像入力を条件として、テキストを生成するように訓練するタスク）
• ITM(画像とテキスト表現間のアライメントを学習するための分類タスク）

このような質問を1つ1つ投げては回答を得て、それを一気に文章として1つにつなげ、さらにそれを要約させたのが上記画像に対する応答だったんですよね。このように、画像を一度読み込ませておいて、その情報を元にQuestion and Answerをさせる手法を**Visual Question Answering（略してVQA）**と呼ぶそうです。

基盤モデル

基盤モデル（Foundation Model）とは、藤井（2022）によると、「さまざまなタスクに利活用できるように、大量のデータで学習させた高性能な事前訓練モデル」とされています（『コンピュータビジョン最前線　Summer 2022』のp.9 より引用）。GPTは自然言語処理における基盤モデルの代表例で、指示を与えるだけで、質問応答や要約、ストーリー生成などさまざまなタスクに対応できます。この記事でずっと紹介し続けたCLIPも基盤モデルの1つです。

基盤モデルは研究的にホットなジャンルで、モデルが改良され、これまでの専門モデルが、精度を上げながら1つの汎用モデルに統合されています。

PaLM (Pathways Language Model)

5400億パラメータのAI自然言語処理（NLP）モデルで、BIGベンチベンチマークでは平均的な人間のパフォーマンスを超えている。PaLMは、多くの評価タスクで他の最先端のシステムよりも優れており、論理的推論やジョークの説明などのタスクで強力な結果を示している

PaLMでは、スケーリング機能に新たなアーキテクチャの選択とトレーニングスキームを組み合わせることで、さらに高性能なモデルへの道を開いており、Pathwaysのビジョンに近づいています。「単一のAIシステムで、数千または数百万のタスクを一般化します。その理由は、さまざまなタイプのデータを理解し、並外れた効率性で実行するためです

言語モデルでは、前のトークンが与えられると、テキストのシーケンスにおける次のアイテムやトークンを予測する。このようなモデルが繰り返し使用され、予測された出力が入力としてフィードバックされる場合には、そのモデルは自己回帰と呼ばれる。Transformerディープラーニングアーキテクチャに基づく自動回帰言語モデルは、多くのNLPタスクで最先端のパフォーマンスを記録している。多くの研究者が非常に大規模なTransformerモデルを開発している。これらの大規模なモデルのトレーニングは大きなチャレンジです。それは、多くの場合、そのモデルは単一のGPUまたはTPUアクセラレータのメモリに収まらないほど大きく、大規模なトレーニングデータセットの処理には数時間、場合によっては数日かかるためです．

GoogleはPathwaysと呼ばれるシステムを開発する計画を発表した。これは新しいAIアーキテクチャで、さまざまなタスクとデータタイプを処理するために設計されている。この作業の一環として、彼らはTPUアクセラレータを大規模に使用するためのオーケストレーションレイヤを開発した。PaLMチームはPathwaysを使って、「パイプラインの並列処理を使うことなく」6144TPUを使うようにトレーニングプロセスをスケールさせた。Pathwaysを使うことで、トレーニングも効率化した。FLOP使用率モデルに基づいて、GPT-3の場合が21.3％効率化されたのに対して、PaLMトレーニングは46.2％効率化された

類似のモデルと同様に、PaLMでは最初に自己監視学習によって事前にトレーニングされている。トレーニングでは、Webページ、ウィキペディア、書籍、およびオープンソースコードリポジトリから抽出された大きなテキストコーパスが使われている。PaLMでは、英語のみのNLPタスクでは新たに最先端の記録を樹立し、多言語タスクでは「競争力のある」パフォーマンスを実現している。それに加えて、text-to-codeとcode-to-codeのタスクのいくつかで「極めて優れた」結果を達成しており、OpenAIのDavinci Codex APIと同等あるいはそれを超えるパフォーマンスを出している。研究者は、ジョークの説明を含む、2つの多段階推論タスクでもPaLMのパフォーマンスを調査した

GPT (Generative Pre-trained Transformer)

どのようにユーザーのプロンプトを処理し、どのように出力結果を生成するかを表している。

OpenAIとは

2015年12月に再生可能エネルギー ソリューションを提供するテスラのCEOであるイーロン・マスクをはじめとする複数の投資家により設立された人工知能（AI）研究所です。OpenAIは、汎用人工知能（AGI：Artificial General Intelligence）が人類全体に利益をもたらすことを使命とし、当初非営利団体として設立されました。その後、2019年に営利企業のOpenAI LPを創設し、現在OpenAI LPとそれを管理する非営利団体OpenAI Nonprofitのハイブリッド体制で運営されています。

OpenAI API モデル

aoiejaofje ‘some text’ FAOIJEFJ

GPT

• Generative Pre-trained Transformers: 生成可能な事前学習済み変換器．
• ChatGPT は OpenAI が 2022年11月に公開した人工知能チャット
  • OpenAIのGPT-3ファミリーの言語モデルを基に構築されており、教師あり学習と強化学習の両方で転移学習されている

-   課題：Hallucination（幻覚）

堂々と自覚なくウソをつく． - 課題：言語化は難しい 完璧な質問をするのは難しい．聞く人の知識に依存

GPT-1

• GPT1が発表されたのは2018年「Improving Language Understanding by Generative Pre-Training」

  Papers with Code - Improving Language Understanding by Generative Pre-Training

GPT1は、ラベル付けされていないデータでトレーニングされた生成言語モデル。分類や感情分析など特定のダウンストリームタスクで調整されたモデルとなる。データセットは、7000冊の未発表書籍によって構成されるBooksCorpusが用いられた。パラメータ数は1億1700万にのぼるという。

GPT1が登場するまで、自然言語処理（NLP）モデルは、教師あり学習により、分類や翻訳など特定のタスク用にトレーニングされていたものがほとんどだった。しかし、教師あり学習では2つの大きな課題が指摘されていた。1つは、教師あり学習がラベル付けされた膨大なデータを必要とする点だ。

現実には、ラベル付けされたデータセットは入手が難しく、モデルの精度向上に限界が見えていた。もう1つは、教師あり学習でトレーニングされた特定のタスクしか実行できないという汎用性の問題が横たわっていた。

GTP1は、こうした課題を念頭に、ラベル付けされていないデータを用い、教師なし学習と教師あり微調整モデルによる学習を通じて、幅広いタスクに対応することを目的に開発された。

結果、モデルが比較された12のタスクのうち9つで、特定タスク向けにトレーニングされた当時最先端の教師ありモデルよりも高いパフォーマンスを示した。

GPT-2

2019年の論文で公開されたGPT2は、GPT1よりも大きなデータセットを用い、パラメータも1億1700万の10倍以上となる15億に増えた。

GPT1開発のときはBooksCorpusというデータセットが用いられたが、GPT2ではインターネット掲示板Redditからスクレイピングされた40GB分のテキストデータが使用された。

GPT1と同様にGPT2も、ほとんどのタスクで当時存在した先端の教師ありモデルを超えるパフォーマンスを示したが、課題も残された。

高いパフォーマンスを示したタスクの1つが読解だ。ゼロショット設定（AIが特定情報にはじめて触れる設定）で、4つのベースモデルのうち3つを上回った。

またフランス語から英語への翻訳タスクでも、ゼロショット設定で当時存在したほとんどの教師なしモデルよりも高いパフォーマンスを示した。ただし、当時最先端とされた教師なしモデルのパフォーマンスを超えることはできなかった。

GPT2の開発では、データセットとパラメータを増やすことがモデルのパフォーマンス向上に寄与することが確認され、GPT3の開発にも影響を及ぼすことになる。

GPT-3

GPT-3は、2020年7月にOpenAIが発表した高性能な言語モデル。OpenAIは、Transformerと呼ばれる深層学習の手法を用いた言語モデルGPT（2018年）、GPT-2（2019年）を発表しており、GPT-3はその後継の言語モデルとなる。2021年10月時点では、マイクロソフトのクラウドサービスAzureからAPI（申請制）を介して利用でき、文章の生成、文章の要約、質問への回答、翻訳などに活用することができる。

言語モデルとは、人間が話したり書いたりする言葉を単語の出現確率でモデル化したものです。一般的な言語モデルは、大量のテキストデータを使って事前に学習したベースモデルをもとに、テーマに合わせた専用の再学習（ファインチューニング）をすることで精度を高めます。しかし、この再学習には教師データ（例題と答えのデータ）を使うため、そのデータの準備に多大な労力がかかるという課題があります。これに対してGPT-3は、桁違いに膨大なテキストデータを用いて学習することで、ファインチューニングを必要としない言語モデルを作り出しています。

GPT-3は、Wikipedia やCommon Crawl（Webサイトから収集されたデータ）などから集めた45TBもの膨大なテキストデータに対し、いくつかの前処理を行った570GBのデータセットを学習に用いています。このデータセットに対して、1750億個のパラメータを持つ自己回帰型言語モデル（ある単語の次に出てくる単語を予測するモデル）を学習することで、これまでにない巨大な言語モデルを作成しています。

GPT-3は、2020年9月にマイクロソフトが独占ライセンスを取得し、同社のクラウドサービス「Microsoft Azure」上で利用できるAPI（申請制）として公開されています。GPT-3を活用することで、記事や小説を自動生成したり、ゲームでストーリーに沿った会話をインタラクティブに生成したり、文章でイメージを伝えるだけでアプリケーションのデザインを生成させたりすることなどができるようになります。たとえば、マイクロソフトは2021年5月に、ローコード開発ツールMicrosoft Power Apps 内でGPT-3を活用することで、言葉からプログラミングコードを自動生成する機能を提供することを発表しました。

OpenAIの発表によると2021年3月時点で、GPT-3のAPIを利用した300以上のアプリケーションが開発され、1日平均で45億語を生成しているそうです。

GPT-4

Open AIは2023年3月14日大規模マルチモーダルモデル「GPT-4」を発表した

テキストだけでなく画像が混在した入力にも対応し、テキストを出力する。Open AIは、GPT-4について「さまざまな専門的および学術的なベンチマークで人間レベルのパフォーマンスを示す」と評価している。同社によると、GPT-3.5のスコアは模擬司法試験において受験者の下位10％前後だったのに対し、GPT-4は上位10％のスコアで合格した。

• 特徴
  • マルチモーダルモデルAI
  • 基本的にすべての言語で機能する
  • 顧客のデータを利用してモデルをトレーニングしていない
• GPT-4の知識は2021年9月までのものであり、その時点ではGPT-4が存在しないから
• GPT-4は今までとは違った回答を生み出せるモデル．データそのものは更新されていない
• 「コンテキスト・ウィンドウ」とは、チャットのセッションの中で、どれだけ多くのデータを、どれだけ長く「メモリー」に保持できるかです。GPT-4は、「コンテキスト・サイズ」と「コンテキスト・ウィンドウ」が、従来のモデルより大幅に改善されています。

マルチモーダルAIとは、ビデオ、画像、音声など、複数の種類の入力内で動作できることを意味します。

言語モデリング（LM）は、様々な統計的および確立論的手法を使用して、特定の一連の単語が文内で発生する確率を決定します。言語モデルは、テキストデータの本体を分析して、単語予測の基礎を提供します。

自然言語処理は、機械をトレーニングしてテキストや音声を理解し、翻訳、要約、分類、抽出などの自動化されたタスクを実行することで、言語ベースのデータを分析してやり取りする方法を変革しています。

• gpt-4-turbo（2024年4月）
• gpt-4o（2024年5月、2023年10月までの知識）

InstructGPT

米AI研究企業OpenAIは1月27日（現地時間）、自然言語モデル「GPT-3」よりも「ユーザーの意図に従い、より加害性の低い」言語モデル「InstructGPT」をAPIのデフォルト言語モデルとし、提供を開始したと発表した

GPT-3はインターネット上のデータで学習した文章生成のための言語モデル。かなり自然な文章を生成できることで話題を呼んだ。だが、学習に使うネット上のデータには人種差別的なものや暴力的なものもあるため、一般に望ましくない結果が生成されてしまうこともある

InstructGPTはそうした問題を解消する目的で改良したGPT。過去1年間のβテストでは、GPT-3と比較して人間の誤った答えを模倣してしまうことが少なく、加害性も低くなっているという。また、人間による評価を行ったところ、InstructGPTの方が幻覚のような創作をする頻度が少なく、より適切な出力が生成されたことが分かったとしている。

InstructGPTの開発には、RLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを反映させた強化学習）という手法を使った。APIに送られてきたこれまでのプロンプトに対し、人間が作成したデモのセットを集め、これで教師あり学習のベースラインを訓練する。次により大きなセットで人間がラベル付けしたデータセットを収集。このデータセットで報酬モデル（RM）をトレーニングし、ラベル付けした人間が好む出力を予測する。最後にこのRMを報酬関数として使ってGPT-3を微調整（fine-tune）してPPOアルゴリズムで報酬を最大化する。

図の内容を文章でまとめると次のような感じになるでしょうか。

• ステップ1：あるプロンプトに対する望ましいモデルからの出力を人間が用意して、GPTモデルを教師あり学習でファインチューンする
• ステップ2：何らかのプロンプトに対するステップ1のモデルの出力をいくつかサンプリングして、出力にランク付けをし、そのデータを使って報酬モデルの学習を行う
• ステップ3：報酬モデルを使ってGPTモデルの強化学習を行う

ステップ1では、以前のバージョンのInstructGPTに入力されたプロンプトをデータセットとして、その一部を取り出し、それらのプロンプトが入力されたときにモデルがどう振る舞えばよいか（どんな出力を行えばよいか）、その出力として望ましいものを人間が用意してやります。そして、「プロンプトと望ましい出力」の組み合わせを使って教師あり学習を行って、GPTモデルをファインチューンします（Supervised Fine-Tune、SFT）。

ステップ2では、このモデルに対して何らかのプロンプトを入力し、そこからいくつかの出力を得た上で、どの出力が望ましいか／望ましくないか、人間がランク付けをします。そして、そのデータを使い報酬モデルの学習を行います。

ステップ3では、GPTモデルを強化学習します。このときにはステップ2で作成した報酬モデルが使われます。

このうち、ステップ2とステップ3を繰り返すことで、プロンプトに対する出力にランク付けを行ったデータが新しく得られ、その結果、報酬モデルが更新され、強化学習もさらに進むといった具合に学習が行われます。

このようにして作成されたのがInstructGPTです。ChatGPTは対話に特化したモデルであることから、学習に使われるデータの収集方法が少し異なっています。

InstructGPTの課題としては、ラベル付けする人のほとんどが英語圏の人間であることで英語圏の人間の文化的価値化に偏っていることや、こうしてユーザーの指示に素直に従うようトレーニングしていった結果、ユーザーが危険な出力（陰謀論的なものなど）の生成を指示することで悪用が可能になってしまうことなどがある。後者については、モデルが特定の指示を拒否できるようにすることに取り組んでいるという。

ChatGPT

ChatGPTはその名の通り、対話に特化した言語モデルです。GPT 3（GPT 3.5）をベースとしていますが、GPT 3からChatGPTが生まれるまでの間にはもう1つ重要な言語モデルがあります。それがInstructGPTです（InstructGPT自体はGPT 3をベースとしているようです）。

では、GPT→InstructGPT→ChatGPTという進化がなぜ起きたのでしょう。InstructGPTについての論文ではその概要でおおよそ次のようなことが述べられています。つまり、「大規模な言語モデルは嘘、有害な出力を生成したり、単にユーザーの役には立たない出力を生成したりする。言い換えれば、これらのモデルはユーザーに合ったものになっていない（not aligned with their users）」ということです。

これはGPTのような大規模言語モデルが目的としているのは「一連のトークン（単語）が入力されたときに、次のトークンは何かを予測する」ことであり、「ユーザーの指示にしたがって有用で無害な出力を行う」ことではないからです。InstructGPTはまさにユーザーの指示（instruction）に従った出力が行えるようにGPTをチューンしたもので、ChatGPTはInstructGPTをベースに対話を行えるようにチューンしたものだと考えることができるでしょう。

有用で無害な出力を得られるようにするために、ChatGPTとInstructGPTではそれらの訓練過程でRLHF（Reinforcement Learning from Human Feedback、人間のフィードバックを基にした強化学習）と呼ばれる手法が採用されているのが重要です（ただし、ChatGPTとInstructGPTとではデータ収集の方法に違いがあり、これがChatGPTを対話に特化したものとしていると思われます）。

「ChatGPT: Optimizing Language Models for Dialogue」によれば、「ユーザーとAIとの対話を、人間（AIトレーナー）が両方の立場でデモしたデータ」がステップ1のデータとして使われます。これらがInstructGPTの学習で使われたデータセットと統合され、対話の形式に変換されたものがGPTモデルのファインチューン（SFT）に使われます。さらにステップ2ではAIトレーナーとチャットボットとの対話を基にデータ収集（とランク付け）を行います。これらがInstructGPTとChatGPTのデータ収集方法の違いです。

InstructGPTにしてもChatGPTにしても、重要なのは報酬モデルの学習に使われるデータのランク付けでしょう。モデルからの出力の品質に応じてランク付けを行うことで、人にとって有用で害のない出力を行えば、より多くの報酬をもらえるようにモデルが学習することでモデルが生成するテキストがユーザーの意図や指示に沿ったものになるのです。

さらにいえば、InstructGPTではユーザーからの入力（プロンプト）に対してモデルがどういう出力を返せばよいのかを学習させることで単に次に出力されるトークン（単語）を推測するというモデルではなく、ユーザーの指示に合った出力を推測するようなモデルになっています。そして、ChatGPTでは対話形式のデータセットを使うことで、それを対話に特化したものにできているということです。これがChatGPT（やInstructGPT）からの出力が人間にとって好ましい出力となっている大きな理由なのでしょう。

ChatGPTからの返答をVOICEVOXの合成音声を使ってDiscordに返す

現在の最新モデルは GPT-5.3 と GPT-5.4。基本 GPT-5.3 が使われる。

モデルの違い

• GPT-3 をベースに指示に従うようチューニングされたモデルが InstructGPT．次のモデルがる
  • text-davinci-003 (text-davinci-002の改良)
  • code-davinci-002
• InstructGPT (text-davinci-003) を対話できるように改良したのが ChatGPT (gpt-3.5-turbo)

OpenAI 言語モデルごとのエンコーディング一覧

GPTモデルの進化と公開日

Knowledge cut off

GPT 5.3, 5.4 は 2025年8月

LLaMA (Large Language Model Meta AI)

Metaは24日(米国時間)、新たな大規模言語モデルとなる「LLaMA」を発表した。LLaMA(Large Language Model Meta AI)は、研究者向けに提供し、大規模なインフラにアクセスできない研究者コミュニティにおいても、AI分野での研究をしやすくするという

LLM(大規模言語モデル)は、テキストの生成、会話、文章資料の要約、数学の定理を解くなどの複雑なタスクで活用されており、OpenAIによる「ChatGPT」で使われている「GPT-3」などが知られている

LLaMAは、小型ながら高性能なモデルのため、大規模言語モデルによる新たなアプローチのテストや、新しいユースケースの探求に必要な計算パワーやリソースがはるかに少なくて済むという

LLaMAは、パラメーター数が7B(70億)、13B、33B、65Bが用意される。MetaによればLLaMA-13Bでは、ベンチマークでGPT-3(175B)を上回り、LLaMA-65Bでは、DeepMindのChinchilla70BやGoogleのPaLM-540Bに匹敵する性能としている

2024-07-24: Llama 3.1 発表．最大4050億（405B）パラメータ．商用利用可能であり無料．7b（700億パラメータ）、8b（800億パラメータ）．15兆トークンを超えるテキストデータで学習．最大128kトークンを理解．言語は英語、ドイツ語、フランス語、イタリア語、ポルトガル語、ヒンディー語、スペイン語、タイ語の8つの言語．

Llama 3.1は、GPT-4やAnthropicのClaude 3.5 Sonnetといった非公開の大規模言語モデルと比較しても、競争力のある性能を示しています。とくに、MGSM（Multilingual General Scholastic Math）では91.6点を記録し、多言語タスクにおいてもGPT-4やGPT-4 Omniを上回る結果を残しました。また、コーディング能力を評価するHumanEvalでも89.0点を獲得し、開発者向けのツールとしても高い評価を得ています。

しかし、一部のタスクにおいては他のモデルに及ばない部分もあります。たとえば、推論能力を測るGPQA（General Purpose Question Answering）では51.1点という結果となり、改善の余地が残されていることが分かりました。それでも、Llama 3.1全体としては、多くのベンチマークで他のモデルと同等以上の性能を発揮しており、とくにオープンソースモデルとしては非常に高い評価を受けています。

Llama 3.1は、「Llama 3.1 Community License」という独自のライセンスの下で提供されており、これにより商用利用が可能です。このライセンスにより、開発者や企業はモデルをカスタマイズして自社の製品やサービスに組み込むことができます。ただし、ダウンロード時には利用規定への同意が必要であり、これは完全なオープンソースではないという点で注意が必要です。

また、Llama 3.1の商用利用には、クラウドサービス上での利用時に各プロバイダーの料金体系が適用されることも覚えておくべきです。これにより、企業は自社のニーズに合わせたコスト管理が求められます。

Alpaca

Metaの大規模言語モデル「LLaMA」の7Bモデルに微調整を行った、オープンソースでよりよい命令追従性を実現した大規模言語モデル「Alpaca 7B」をスタンフォード大学の研究チームが公開しました。Alpacaを用いると、GPT-3.5に似た動作を、はるかに小さな環境で簡単・安価に再現できます

スタンフォード大学によると、GPT-3.5(text-davinci-003)やChat GPT、Claude、Bing Chatなど、言語モデルがどんどんと強力になっていく中で、まだまだ多くの欠陥が残されているとのこと。この問題解決への最大限の進歩には学界の関与が必要だったのですが、text-davinci-003などのクローズドモデルに匹敵する機能を備えたオープンソースモデルがないことから、学界で命令追従モデルの研究を行うことは困難だったそうです。そこで、スタンフォード大学は公開されているデータセットのみで学習を行ったMetaの大規模言語モデル「LLaMA」の7Bモデルをベースに微調整を行い、「Alpaca」という言語モデルを開発・公開しました。微調整にはメモリが80GBの**NVIDIA A100**を8台用いて3時間かかったとのこと。これは、多くのクラウドコンピューティングプロバイダーで100ドル(約1万3400円)未満で利用可能な内容です。

Alpacaはtext-davinci-003と似たような振る舞いを多く見せるものの、驚くほど小さく簡単、安価に再現が可能という特徴があります。

なお、Alpacaの利用は学術目的に限られ、商用利用は禁止されています。これは、ベースになったLLaMAが非商用ライセンスであること、命令データはOpenAIと競合するモデルの開発を禁止するtext-davinci-003をベースにしていること、安全対策が十分ではなく一般普及させることができないこと、という3つの理由によるものだそうです

Metaが発表したLLaMa 7Bをtext-davinci-003によるself-instructで生成されたデータを使用してFineTuningした言語モデル。生成したデータは52K個で生成コストは500ドル以下と低コストです。

Alpaca-LoRAとはAlpacaで作成したデータセットを使用してLLaMa 7Bにlow-rank adaptation(LoRA)を使用してモデルをFineTuningすることで低コストでAlpacaと同等の出力を得ることができる言語モデルです。

Alpaca.cpp

GitHub - rupeshs/alpaca.cpp: Locally run an Instruction-Tuned Chat-Style LLM (Android/Linux/Windows/Mac)

• Locally run an Instruction-Tuned Chat-Style LLM (Android/Linux/Windows/Mac)
• This combines the LLaMA foundation model with an open reproduction of Stanford Alpaca a fine-tuning of the base model to obey instructions (akin to the RLHF used to train ChatGPT) and a set of modifications to llama.cpp to add a chat interface.

Alpaca-lora

• Instruct-tune LLaMA on consumer hardware

GitHub - tloen/alpaca-lora: Instruct-tune LLaMA on consumer hardware

• This repository contains code for reproducing the Stanford Alpaca results using low-rank adaptation (LoRA). We provide an Instruct model of similar quality to text-davinci-003 that can run on a Raspberry Pi (for research), and the code is easily extended to the 13b, 30b, and 65b models.
• In addition to the training code, which runs within five hours on a single RTX 4090, we publish a script for downloading and inference on the foundation model and LoRA, as well as the resulting LoRA weights themselves. To fine-tune cheaply and efficiently, we use Hugging Face’s PEFT as well as Tim Dettmers’ bitsandbytes.
• Without hyperparameter tuning, the LoRA model produces outputs comparable to the Stanford Alpaca model. (Please see the outputs included below.) Further tuning might be able to achieve better performance; I invite interested users to give it a try and report their results.

Japanese-Alpaca-loara

• 日本語に翻訳したStanford Alpacaのデータセットを用いてLLaMAをファインチューニングし作成したLow-Rank AdapterのリンクとGenerateサンプルコード

GitHub - kunishou/Japanese-Alpaca-LoRA

RWKV

BlinkDL/RWKV-LM

• RNNでありながらTransformerと同程度の性能を持つ言語モデル
• Transformerと違い、コンテキスト長が無限
  • これは理論的な話で、実際には学習時に使用したトークン数に影響されるため一応1024に設定されている
• RWKV-4 (14B)

RWKVをローカルPCで動かす（pyenv/Docker）

FlexGen

• FlexGenは、大規模言語モデル（LLM: Large Language Model）をシングルGPU（たとえば、16GBのT4や24GBのRTX3090）で実行可能な高スループットな生成エンジンです。

GitHub - FMInference/FlexGen: Running large language models on a single GPU for throughput-oriented scenarios.

• FlexGenは、Meta社が開発したOPT（Open Pre-trained Transformer）を動かすことができ、実際にAIアシスタントと会話できます。

OPT: Open Pre-trained Transformer Language Models

• OPT-1.3B
  • ハードウェア アクセラレータ : GPU
  • GPUクラス : 標準 (Tesla T4)
  • ラインタイムの仕様 : ハイメモリ (26GB)
• OPT-6.7B
  • ハードウェア アクセラレータ : GPU
  • GPUクラス : プレミアム （NVIDIA A100-SXM4-40GB）
  • ラインタイムの仕様 : 標準 (85G)

自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす

Bard

• GoogleのチャットAI
• LaMDA (Language Model for Dialogue Application) の軽量で最適化されたバージョンを利用

Claude (クロード)

• アメリカのスタートアップ企業「Anthropic」が開発．Anthropic は OpenAI社に所属していた元社員が2021年に立ち上げた企業．GPT-2, GPT-3といったモデルの開発メンバーが、同社のやり方に異を唱え、退社後に設立．Google、Salesforce、Amazonなどから投資された

• 2023年3月に一般公開

• Claude, Claude1.3, Claude2 (2023年7月), Claude2.1 (2023年11月), Claude3-Sonnet (2024年3月)、Claude-3.5-Sonnet（2024年6月）, Claude-3.7 Sonnet

• マルチモーダルLLM

• Claude3-Sonnetは最大20万トークン、性能順に、Opus, Sonnet, Haiku がある．

• Anthropic API のトークン最適化によるコスト削減

Claudeのモデル履歴

Opus

Opus 4.6はClaudeファミリーの最上位モデルです。複雑な推論を必要とするタスクや、長時間にわたるエージェントタスクで圧倒的な性能を発揮します。100万トークンのコンテキストウィンドウ（ベータ版）を備えており、大量の文書を一度に読み込んで分析できます。

• Opus 4.6
  • 高度な推論と分析が必要な業務に最適
  • 長時間のエージェントタスクを自律的に遂行
  • コーディング能力がモデル中最高水準
  • 100万トークンコンテキスト（ベータ）で大量文書を一括処理

Sonnet

Sonnet 4.6はClaude.aiでデフォルトに設定されているモデルです。Opusに迫る性能を持ちながら、コストは5分の1に抑えられています。SWE-bench VerifiedではOpusとの差がわずか1.2ポイントという僅差で、多くのビジネスユースでは十分な品質を提供します。

• Sonnet 4.6
  • 速度と品質のバランスに優れた標準モデル
  • Opusの5分の1のコストで近い性能を実現
  • 日常的な文書作成、要約、翻訳に最適
  • チャットインターフェースのデフォルトモデル

Haiku

Haiku 4.5は最もコンパクトなモデルで、処理速度の速さと低コストが最大の強みです。大量のテキストを分類・抽出する定型処理や、リアルタイムのカスタマーサポートなど、素早い応答が求められるシーンに適しています。

• Haiku 4.5
  • 3モデル中最速の応答速度
  • 大量処理やバッチ処理に最適なコスト効率
  • テキスト分類、データ抽出、定型回答に強み
  • APIコストを最小限に抑えたいケースに最適

LLaVA

LLaVa

LLaVa is an open-source chatbot trained by fine-tuning LlamA/Vicuna on GPT-generated multimodal instruction-following data. It is an auto-regressive language model, based on the transformer architecture. In other words, it is an multi-modal version of LLMs fine-tuned for chat / instructions.

LLaVA-v1.6-mistral-7b-hf, LLaVA-v1.6-vicuna-7b-hf

llava-hf/llava-v1.6-mistral-7b-hf · Hugging Face

• Using Mistral-7B (for this checkpoint) and Nous-Hermes-2-Yi-34B which has better commercial licenses, and bilingual support

llava-hf/llava-v1.6-vicuna-7b-hf · Hugging Face

LLaVA-1.5-7b-hf

llava-hf/llava-1.5-7b-hf · Hugging Face

LLaVA-llama-3-8b-1.1-transfomers

xtuner/llava-llama-3-8b-v1_1-transformers · Hugging Face

llava-llama-3-8b-v1_1-hf is a LLaVA model fine-tuned from meta-llama/Meta-Llama-3-8B-Instruct and CLIP-ViT-Large-patch14-336 with ShareGPT4V-PT and InternVL-SFT by XTuner.

LLaVAの概要

• Large Language and Vision Assistant の略で 2023年4月に発表．LLMを使用したVision and Languageモデル．10月に v1.5 を発表、2024年1月に v1.6 （LLaVA-NeXT）を発表．
• LLaVAのモデル構造は、Vision Encoder + Vision Projector + LLM になっている

• Vision Encoder には OpenAI の CLIP VIT-L-patch14-336 が使用されている
• Vision ProjectorはVision Encoderの出力をLLMの入力に変換する役割を持っており線形層が使用されています。LLaVA1.5では一層の線形層より性能が向上するということで二層の線形層が使用されています。また、活性化関数にはGELUが使用されています。
• LLM には Vicuna-13b-1.5 が使用されている

Sakana AI

• SakanaAI-EvoLLM-JP — shisa-gamma-7b-v1, WizardMath-7b+V1.1, GAIR/Abel-7B-002
• SakanaAI-EvoVLM-JP — VLM (LLaVA-1.6-Mistral-7B) + LLM (shisa-gamma-7b-v1)

Sakana AIの進化的モデルマージによるLLM:EvoLLM-JP(日本語+数学)とEvoVLM-JP(日本語＋画像) - GMOインターネットグループ グループ研究開発本部

Gemini

GoogleのLLMで、PaLMの後継モデル。マルチモーダル対応で、テキスト、画像、音声、動画を入力として処理できる。

特徴

• マルチモーダル対応: テキスト、画像、音声、動画など複数のメディアタイプを統合的に処理
• 複数のサイズ展開: Ultra、Pro、Nanoなど複数のモデルサイズを提供し、用途に応じた最適化が可能
• 複数言語対応: 英語を中心に多くの言語で動作
• Webアクセス機能: リアルタイムの情報取得が可能（Gemini Advanced含む）
• 長いコンテキストウィンドウ: 大量のテキスト入力を処理可能

強み

• 画像認識性能: 高精度な画像理解と分析が可能
• マルチタスク対応: 単一モデルで複数の種類の入力を処理
• 推論能力: 複雑な論理的推論タスクにおいて高い性能
• 統合エコシステム: GoogleのサービスやAPI、Workspaceとの統合
• アクセシビリティ: 無料版（Gemini）から高機能版（Premium）まで段階的に利用可能

弱み

• 信頼性: ハルシネーション（幻覚）の発生が報告されている
• リアルタイム性: 知識にカットオフ日があり、最新情報は別途アクセスが必要
• 日本語対応: 英語に比べると日本語の処理精度がやや劣る場合がある
• カスタマイズ性: LoRAなどの軽量ファインチューニングオプションが限定的

Knowledge cut off

Gemini 3.1 は 2025年1月

Gemini 3.1 Flash/Flash-Lite

Gemini 3.1 Pro/Flash/Flash-Lite

• 3.1 Pro:
  • GitHubのバグ修正や自律型AIエージェント、複雑なマルチモーダル分析（動画内の細かな動きの検出など）に最適です。
• 3.1 Flash:
  • チャットUI、ドキュメント要約、リアルタイムな音声対話など、人間との自然なやり取りと正確さが両立すべき場面に適しています。
• 3.1 Flash-Lite:
  • 百万リクエスト規模のデータ分類、翻訳、単純な抽出タスクなど。Thinking Levelを「Low」に固定することで、他モデルでは不可能なミリ秒単位のレスポンスを実現できます。

コード生成について、必ずしも Pro が向いている訳ではないらしい

設計段階では Pro、既存コードの修正は Flash。

Gemini チャットでのモードに対する使用モデルは次のとおり

Geminiのモデル履歴

Cursor

Cursorは、AI機能を統合したコードエディタで、Visual Studio Code (VS Code)をベースに開発されています。AIアシスタントを活用してコーディングを支援し、生産性を向上させることを目的としています。主な特徴として、リアルタイムのコード補完、AIチャット、Composerによるコード生成・編集機能があります。対応言語は多岐にわたり、Python、JavaScript、TypeScript、Goなどに対応。オープンソースプロジェクトとしてGitHubで公開されており、無料版と有料版（Pro）があります。

Cursor Composer

Cursor Composerは、Cursorエディタに組み込まれたLLM（Large Language Model）ベースの機能で、自然言語の指示からコードを生成・編集します。GPT-4やClaudeなどのモデルを活用し、プロンプトに基づいて新しいコードを書いたり、既存コードをリファクタリングしたりできます。特徴として：

• 自然言語入力: 「ログイン機能を追加」など、英語や日本語で指示可能。
• コンテキスト対応: 開いているファイルや選択したコードを基に生成。
• インライン編集: 生成されたコードを直接エディタに挿入・適用。
• マルチステップ編集: 複雑な変更を段階的に実行。

Composerは、Cursor Pro版で利用可能で、APIキーを設定することでOpenAIやAnthropicのモデルを使用できます。使い方は、エディタ内でCmd/Ctrl + Kを押してプロンプトを入力するだけです。