転移学習
AIにおける転移学習とは、あるタスクで学習したモデルの知識を、ゼロから学習し直すのではなく、関連する別のタスクの出発点として再利用する手法です。大規模言語モデルが実用的なのはこのためです。膨大なテキストで一度だけ事前学習し、その後わずかなデータと計算量で、チャット、プログラミング、特定の専門分野に適応させます。
理解する 転移学習
大規模なモデルをゼロから学習させるには、膨大なデータ、計算資源、時間が必要です。転移学習は、言語や画像などをすでに理解している事前学習済みモデルから出発し、タスク固有のデータでファインチューニングすることで、はるかに少ない資源でAI開発を現実的なものにします。
現在のLLMのエコシステムは、すべて転移学習の上に成り立っています。GPT-4、Claude、Llamaは膨大なインターネット上のテキストで事前学習され、一般的な言語理解を身につけます。その後、指示に従うデータでファインチューニングされて役に立つアシスタントになります。さらに医療、法律、コーディングなどの分野でファインチューニングすると、特化したモデルができます。
転移学習がうまくいくのは、知識が一般化するからです。数十億の文で学習したモデルは、文法、世界についての知識、推論のパターンを身につけ、それが新しいタスクにも生きます。事前学習で得た表現は、多くの用途で役立つ基本的な構造をとらえています。
AIアシスタントの利用者にとって、転移学習は、LLMが明示的に学習していないタスクでも役に立つ理由を説明します。幅広い事前学習が、新しい指示や分野にも通用する土台になっているのです。
実際の進め方: 事前学習済みモデルから始め、学習済みの汎用的な表現はそのまま残し、新しいタスクに必要な部分だけを適応させます。よく使われる段階は3つです。特徴抽出は事前学習済みの層を固定し、小さな出力層だけを新しく学習させる方法で、ラベル付きデータが少ないときに有効です。フルファインチューニングは、新しいデータですべての重みの学習を続けます。LoRAやアダプターなどのパラメータ効率の良いファインチューニングは、少数の追加の重みだけを学習して元のモデルには手を加えないため、メモリを節約でき、1つのベースモデルを多くのタスクに使えます。
大規模言語モデルからの転移学習は、主に3つの形をとります。ファインチューニングは、タスクの例でモデルの重みを変えます。たとえば分類器のために数千件のラベル付きサポートチケットを使います。インコンテキスト学習はモデルを一切変えません。プロンプトに指示といくつかの例を入れると、事前学習済みモデルがその場で汎用的な能力をタスクに生かします。検索拡張生成（RAG）は、モデルが見たことのない情報、たとえば自社の文書を、問い合わせのたびに渡します。多くのチームはまずプロンプトを試し、知識が足りなければ検索を加え、プロンプトでは届かない一貫した形式、文体、能力が必要なときだけファインチューニングします。
LLM以外の代表例: ImageNetで事前学習した画像モデルを数千枚の画像でファインチューニングし、製造ラインの不良やX線画像の所見を見つけます。一般的なテキストで事前学習したBERTを、感情分析やスパム検出向けにファインチューニングします。AIによる自動化でも同じ考え方が働きます。アシスタントがあなたの受信トレイで学習したことがなくても、メールを読み、日付を抜き出し、返信の下書きを書けるのはこのためです。能力は事前学習から来ており、適応は指示、ツール、文脈によって行われます。
転移学習がうまくいかない場合: 元の分野と対象の分野が違いすぎるとき（負の転移）、少ないファインチューニング用データでモデルが過学習したり汎用的な能力を失ったりするとき（破滅的忘却）、事前学習済みモデルの偏りや古い情報が新しいタスクに持ち込まれるときです。評価は、適応に使ったデータではなく、実際の対象データから取り分けておいた例で行ってください。
GAIAの活用方法 転移学習
GAIAは、独自のモデルを学習させるのではなく、Google GeminiやOpenAIなどのプロバイダーの事前学習済みモデルを、直接またはOpenRouter経由で利用することで転移学習を活用しています。これらのモデルが事前学習で身につけた汎用的な能力（読む、要約する、推論する、書く）は、指示、接続したアプリ用のツール定義、あなたが共有した情報の記憶によってあなたの仕事に合わせて使われます。あなたのデータで追加学習することはありません。
関連概念
Fine-Tuning
Fine-tuning is the process of taking a pre-trained AI model and continuing its training on a smaller, task-specific dataset to adapt its behavior for a particular domain or application.
Foundation Model
A foundation model is a large AI model trained on broad data at scale that can be adapted to a wide range of downstream tasks through fine-tuning, prompting, or integration into application architectures.
大規模言語モデル（LLM）
大規模言語モデル（LLM）は、膨大なテキストデータでトレーニングされた人工知能モデルであり、人間のような流暢さで言語を理解、生成、推論できます。
Prompt Engineering
Prompt engineering is the practice of designing and refining inputs to AI language models to reliably elicit desired outputs, shaping model behavior without modifying the underlying weights.
Few-Shot Learning
Few-shot learning is the ability of an AI model to adapt to a new task or output format from just a small number of input-output examples provided in the prompt, without any weight updates.
