大規模言語モデル（Large Language Models: LLMs）
基本概念
大規模言語モデル（LLMs）はさまざまなアーキテクチャに基づいて構築されますが、現在最先端のモデルで最も一般的に使用されるのはTransformerアーキテクチャです。このアーキテクチャを採用したLLMsは、人間のようなテキストを理解し生成する能力を備えています。インターネット、書籍、その他の大量のテキストデータを学習し、単語やフレーズ間のパターンや関係を学びます。
テキスト処理の基本単位はトークン（Token）です。トークンは単語、フレーズ、または文字（例: ピリオド）で構成されます。これにより、モデルは効率的にテキストを処理できます。たとえば、文「A puppy is to dog as a kitten is to cat.」は以下のトークンに分解されます：
A、puppy、is、to、dog、as、a、kitten、is、to、cat。
埋め込み（Embedding）とトークンの利用
埋め込み（Embedding）とはトークンの数値表現であり、各トークンには意味や他のトークンとの関係を表すベクトル（数値のリスト）が割り当てられます。これらのベクトルはモデルのトレーニング過程で学習され、言語の文脈や微妙なニュアンスを理解できるようにします。
たとえば、トークン「cat」の埋め込みベクトルは、「feline」や「kitten」のベクトルに近い位置に配置されます。これにより、モデルは「猫」が「猫科動物」や「小猫」と類似していることを理解できます。このような関係は明示的にプログラムすることなく学習されます。
LLMsはトークン、埋め込み、ベクトルを駆使して、言語の複雑な関係を捉えます。これにより、文脈に適した一貫性のあるテキスト生成、質問応答、情報要約、さらには創造的な執筆までも可能になります。
基盤モデル（Foundation Model: FM）の出力の最適化
提示エンジニアリング（Prompt Engineering）
提示エンジニアリングは、基盤モデル（FM）に対して明確な指示を与えるプロセスであり、特定のニーズに応じてモデルの出力を改善することを目的としています。このプロセスでは、モデルの動作を望ましい結果に誘導するために、プロンプトを設計・最適化します。
プロンプトの構成要素は以下の要素を含むことがあります：
1. 指示：FMが実行すべきタスクの説明。
2. 文脈：モデルを導くための外部情報。
3. 入力データ：モデルに応答を求めるためのデータ。
4. 出力指示：期待される出力の形式や種類。
例：
「あなたは経験豊富なジャーナリストで、長文の記事を簡潔に要約するのが得意です。以下の文章を2～3文で要約してください。
文章：[ここに長文を挿入]」
微調整（Fine-Tuning）
基盤モデル（FM）は自律学習により事前トレーニングされ、情報を理解する能力を持っていますが、微調整を施すことで特定のタスクに対する性能を大幅に向上させることができます。
- 微調整とは、事前トレーニング済みモデルに小規模なデータセットを使用して、重みを修正するプロセスです。この手法により、モデルは特定のタスクに適応します。
- 指示微調整（Instruction Fine-Tuning）では、特定の指示に応じてどのように応答すべきかをモデルに学習させます。プロンプト調整はその一形態です。また、人間のフィードバックを活用した強化学習（RLHF）も、人間の好みに合わせた出力を生成するために使用されます。
例：
医学研究に関するタスクでは、医学論文を用いて事前トレーニングモデルを微調整し、その分野での性能を向上させることができます。
検索強化生成（Retrieval-Augmented Generation: RAG）
RAGは、関連するデータを文脈として提供することで応答を生成する技術です。RAGの目的は微調整と似ていますが、基盤モデル（FM）を微調整するためのラベル付きデータを必要としません。
- RAGの特徴：
- 関連文書を検索し、それらを文脈として利用。
- モデルの重みを変更しないため、柔軟性が高い。
RAGは、モデルの元々の能力を損なうことなく、特定タスクの応答能力を強化するための優れた手法です。
生成AIは、大規模言語モデルの可能性を引き出し、さまざまな分野でその応用を広げるツールです。これらの基本概念と手法を理解することで、AIの力を最大限に活用する道が開けるでしょう。
