大規模言語モデル LLM

リンク

概要

• インターネットなど、公開された大量のテキストを学習して、人間のような言語を出力する自然言語処理モデルのこと。
• 画像や音声なども学習させて、マルチモーダルに回答を生成させる事も出来ている

基本

トランスフォーマー

• 2017年にGoogleの研究チームの論文
• 注意、Attentionという仕組みが飛躍的に、文章の構造や文脈の理解を向上させた
  • Attention is All You Need
• Attentionの2つの仕組み
  • 自己注意
    • 文章中の単語間のつながりを捉える
    • 文章の中の各単語が、お互いにどう関連しているのか、その関係性の強さを重みとして数値化
    • 文脈に応じた単語間の関係性の重要性を判断する
  • マルチヘッド自己注意
    • 複数の視点で自己注意を行い、様々な視点からの重みを捉える事で、理解をより良くさせる
• 従来の言語モデルとは異なる特徴
  • モデルを大規模化するほど、学習データを増やせば増やすほど精度が良くなっていく
  • 従来の言語モデルはモデルを大きくするとある時点で頭打ちになる
    • 過学習におちいる
    • 汎化性能が落ちる

自己教師あり学習

• 既存の文章から自動的に予測問題を作成し、答え合わせをしながら学習していく
• 穴埋め問題を作成して、穴埋めをして、答え合わせを行っていく
  • 間違えたら正しい答えになるように重みを変えて調整していく事で、予測確率を高めていく
• 教師データ（質問と回答の組）を人が用意しなくて良いのがメリット

対話に特化した学習

• ChatGPTなど会話に特化するように、追加学習させている
  • GPTとは、Generative Pre-trained Transformer
    • トランスフォーマーを使い事前学習させた生成モデルという事
    • Chatの部分はモデルと人との対話を意味している
  • 事前学習により大量のテキストで一般的な言語知識を獲得させて、追加で人との対話の学習をさせたモデル
• 学習のステップ
  • モデルに質問への適切な答え方を教える
    • 質問と答えのペアを使って対話できるようにして、回答を生成できるようにしていく
  • モデルが生成する答えが良いか悪いかを、人間がフィードバックする
    • 失礼な、攻撃的な、現実的ではないなどの回答としては適切ではない答えには、悪い評価をする
    • 正解や現実的な回答などには、良い評価を与える
  • たくさんの良い評価をもらえるように、モデルをさらにさらに学習させる
    • RLHF(Reinforcement Learning from Human Feedback)