自社の業務に特化したAIアシスタント、独自のデータで対話できるチャットボット――多くの企業が、大規模言語モデル（LLM）を自社専用にカスタマイズしたいと考えています。その最も一般的な方法が「ファインチューニング」です。
しかし、ファインチューニングには「破滅的忘却（Catastrophic Forgetting）」という重大な副作用が伴うことがあります。良かれと思って行った追加学習が、モデルが本来持っていたはずの賢さを失わせてしまうのです。
この記事では、まず「破滅的忘却」とは何かを分かりやすく解説し、その後、私とAIの間で行われた対話形式のやり取りをまとめながら、この問題を回避するための新しいアプローチ「Prompt Learning」の魅力に迫ります。
ファインチューニングのジレンマ：「破滅的忘却」とは？
まず、課題の核心である「破滅的忘却」について理解を深めましょう。
これを「万能なエリート社員」に例えてみます。
あなたの会社には、幅広い分野の知識を持つ、非常に優秀な社員（基盤となるLLM）がいます。彼にあらゆる質問をすれば、的確な答えが返ってきます。
ここで、あなたは彼を「法務の専門家」に育て上げようと考え、3ヶ月間、法律関連の文書だけを徹底的に読み込ませる研修（ファインチューニング）を行いました。
研修後、彼は見事な法務の専門家になりました。しかし、ある日あなたが彼にマーケティング戦略について尋ねたところ、彼はこう答えます。「申し訳ありません、よく分かりません」。かつて得意だったはずの一般的な知識や他の専門スキルを、すっかり忘れてしまっていたのです。
これが「破滅的忘却」です。特定の領域に特化させるためにモデル全体のパラメータ（重み）を大きく調整した結果、その領域の知識で汎用的な知識が「上書き」されてしまい、元々持っていた能力が失われてしまう現象を指します。
では、この悲しい結末を避けつつ、モデルを私たちの望む方向に導くことはできないのでしょうか？その答えが、以下の対話の中に隠されています。
新たな道：「忘却」を回避するためのQ&Aまとめ
ここからは、これまでの対話の要点を「破滅的忘却の防止」という観点から再構成し、ご紹介します。
Q1. どうすれば「忘却」させずにモデルをカスタマイズできるの？
A. モデル本体に触れず、外部から「導く」方法を使います。それがPrompt Learningです。
私たちの対話は、LLMのカスタマイズ手法を比較した一枚の図から始まりました。
ここで注目したのが、フルファインチューニングよりも遥かに軽量な「Prompt Learning（プロンプト学習）」です。この手法の最大の特徴は、LLM本体のパラメータを「凍結（Frozen）」、つまり一切変更しない点にあります。
Q2. Prompt Learningは具体的にどう機能する？
A. 「万能な音楽家（LLM）」と「専門の指揮者（ソフトプロンプト）」の関係で説明できます。
Prompt Learningの仕組みを理解するために、私たちは「音楽家と指揮者」の比喩を用いました。
- 万能な音楽家: 凍結されたLLM本体。あらゆる曲を演奏できる潜在能力を持っています。
- 専門の指揮者: Prompt Learningで訓練される、非常に小さな「ソフトプロンプト（Soft Prompt）」モジュール。
- 演奏: モデルの出力。
ユーザーが「情熱的な曲を演奏して」とリクエストすると、ファインチューニングでは音楽家自身に新しい楽譜を叩き込みます。これでは元のレパートリーを忘れてしまうかもしれません。
一方、Prompt Learningでは、音楽家には触れません。代わりに、「情熱的な演奏」を専門とする指揮者を訓練します。この指揮者は、人間には理解できないユニークかつ最適なジェスチャー（ソフトプロンプト）で、音楽家が持つ能力を最大限に引き出し、完璧な演奏へと導きます。
音楽家は新しい楽譜を学んだわけではありませんが、専門家の指導によって、まるでその道のプロであるかのように振る舞うことができるのです。
Q3. ということは、LLM本体のパラメータ（重み）は本当に一切変わらない？
A. はい、その通りです。そして、それこそが「破滅的忘却」を防ぐ鍵です。
この質問は核心を突いています。LLM本体を凍結しているため、元々持っていた膨大な知識や汎用的な能力が失われる心配がありません。「エリート社員」の脳を上書きするのではなく、彼の隣にタスク専門の「優秀なアシスタント」を置くようなものです。
これにより、私たちは「破滅的忘却」を完全に回避できるだけでなく、計算コストを劇的に削減し、タスクごとに小さな「指揮者（ソフトプロンプト）」を切り替えるだけで済むという、運用上の大きなメリットも享受できます。
Q4. では、これはモデルに新しい「スキル」は教えられるが、新しい「知識」は注入できないということ？
A. その通りです。この区別が、LLMを賢く使いこなす上で最も重要です。
この最後の問いは、Prompt Learningの能力の範囲を明確にしました。
- スキルの強化（やり方・Howを教える）: Prompt Learningは、「要約の仕方」「法務文書らしい文章の書き方」といったスキル（振る舞い）を教えるのに非常に長けています。
- 知識の注入（事実・Whatを教える）: 一方で、LLMが知らない最新の事実（例：昨日のニュース）をその脳に直接書き込むことはできません。
では、新しい知識を与えたい場合はどうすればいいのでしょうか？ そのための最適な手法が、RAG（Retrieval-Augmented Generation）です。これは、質問と同時に外部のデータベースから関連資料を検索してLLMに渡し、「この資料を参考にして答えて」と依頼する、いわば「開いた参考書（オープンブック）」を渡すようなものです。
まとめ：スキルの「訓練」と知識の「注入」を分離する
LLMのカスタマイズにおける「破滅的忘却」は、モデルの能力を「上書き」しようとすることで発生します。
今回の対話を通じて、私たちはより安全で効率的なアプローチを見出しました。それは、「スキルの訓練」と「知識の注入」を明確に分離することです。
- 基盤LLM: 強力で安定した知識基盤として「凍結」して維持する。
- スキルの獲得: Prompt Learningを使い、LLMに特定のタスクをこなすための「振る舞い」や「コツ」を教える。
- 知識の注入: RAGを使い、リアルタイムで必要な外部情報を「参考資料」として与える。
このモジュール式のアプローチにより、私たちはLLMが持つ本来の賢さを損なうことなく、それぞれのビジネスニーズに合わせて、安全かつ柔軟にその能力を拡張していくことができるのです。
