システムプロンプト

解説

システムプロンプトは、顧客の入力とは別に、会話の背後で常に適用されている指示です。口調、答える範囲、参照すべき情報源といった、会話ごとに変えない前提をここに置きます。顧客の画面には出てこないため、表に見える回答文だけを追っていても、どの指示が効いているのかは分かりません。

事実の誤りは文書側、言い方は指示側で直す

回答品質の問題を見つけたとき、システムプロンプトを直すべきか、参照元の文書を直すべきかの切り分けが要ります。事実が違うなら文書側、言い方や答える範囲の問題ならプロンプト側です。ここを取り違えて指示のほうに例外を書き足していくと、文書の誤りは残ったまま指示だけが膨らみます。

禁止事項を足し続けると指示どうしがぶつかる

不具合が出るたびに「〜しないこと」を追記していくと、後から加えた一文が前の指示と食い違い、どちらが効いているのか読み手にも分からなくなります。書き足す前に、同じ趣旨の記述がすでにないかを読み返してください。変更したあとは、過去に問題が起きた質問をいくつか投げ直し、直したはずの挙動が戻っていないかを確かめます。答えられない質問を有人へ引き継ぐ条件も、この指示に書いておく項目の一つです。