GPT-4当たりが出るころ、当時よくやっていたプロンプトの書き方としてペルソナ設定というものを最初に記述し、その中で「あなたは大変優秀な〇〇です」とか書くのが鉄板と言われてたのだけど、どうやら今は違うようで。
この記事の中でどうも、そうしたペルソナ設定は「優秀な〇〇を演じる」ということを強調して行動するようになるようで、本来とるべき推論メカニズムが正常に動作しないリスクがあるとのこと。
それを示すのが以下の論文「Expert Personas Improve LLM Alignment but Damage Accuracy:
Bootstrapping Intent-Based Persona Routing with PRISM」とのことで、本来はそうした問題を克服するためにこんな仕組みを考案したぜ！とかいう話がメインの内容になっています。
本文の中でこうした問題の起きるプロンプティングを「従来型のペルソナ・プロンプティング」と呼んでるようで、その弊害をわかりやすく説明すると以下のようになります。
人間でも、非常に難しい歴史のテストを受けている最中に、
「完璧なフランスなまりの英語で、お調子者のキャラクターを演じながら答えてください」と言われたらどうなるでしょうか？
キャラクターを維持することに意識が向いてしまい、肝心の歴史の年号を思い出す力が落ちてしまうはずです。
論文の中では、以下2つの能力がAIモデルには求められてるとのことで、
- 事前学習（Pre-training）で得た能力: 事実の記憶、数学、コードの知識など。
- 指示学習（Instruction-tuning）で得た能力: 口調の変更、スタイルの模倣、安全性の守秘など。
最初の「歴史の年号を思い出す」行為は「事前学習で得た能力」を要求しており、「完璧なフランスなまりの英語でお調子者キャラクターを演じる」は「指示学習で得た能力」を要求する、そうした脳みそで複数の課題が競合してしまうことで、知識取得の制度が下がるということに警鐘を鳴らしているとのこと。本当に求めるのは何か？という所を答えられるようなペルソナ設定が必要だよということのようです。
特に上記のようなプロンプトが発行された場合、AIモデルは指示学習に傾きがちであるがゆえにそうしたいわゆる「癖」をうまくコントロールしようということのようです。なので、キャラクター定義に対するウェイトは少し絞り、抽象的な内容でもよいのかもしれません。
逆にどのような情報を引き出したいのか、どんな答えが欲しいのかを明確にできるようなことが必要なようですね。役割は短文で「あなたは数学者です」ぐらいにとどめるのがちょうどよさそうです。
こうした動きの変化は、学習方法の変化が影響しているんじゃないかと感じており、これまで様々なモデルが登場していますけれども、徐々に各種パラメータの扱いが変化していることをよく感じます。温度サンプリング値や核サンプリング値は特にわかりやすく、以前は回答出力の内容を確定的にするか、発散的にするかを調整するパラメータでした。
今はやってることは同じですが、これらの値はモデル作成者の推奨値に従うことが多くなってきています。これも一種のパラメータの扱いに対する変化であり、それだけ位置づけが変わるほどにそれぞれのパラメータがなすことがだいぶ変わってきたということなのでしょうね。
昔はこれでうまくいったんだ！というそのプロンプト、もしかしたらモデルを変更すると使えないプロンプトになるかもしれません。特にモデル変更時には本当にそのプロンプトでそのまま動いてくれるかどうか、考える必要があるのかもしれません。
コメント