ガードレール

解説

ガードレールは、生成AIの入出力が業務上許容できる範囲に収まるように掛ける制約の総称です。ガードレールは、ユーザーとAIの間でやり取りされる情報を点検し、問題のある入力や出力を止めたり、一部を伏せたりします。カスタマーサポートでは、誤った案内が請求や契約のトラブルに直結します。そのため、AIに答えさせない範囲を先に決めておくことが、導入の前提になります。

種類

ガードレールは、掛ける位置によって次の2つに分かれます。

• 入力ガードレール：AIに渡す前に入力を点検し、個人情報や機密情報を検知して、送信を止めたり記号で伏せたりする
• 出力ガードレール：AIが生成した回答を表示する前に点検し、不正確な情報や不適切な表現を止める

たとえば、Amazon Bedrockのガードレールは、入力と出力の両方に適用できます。主な機能は、有害な内容のフィルター、拒否するトピックの指定、特定の単語のブロック、個人情報の検知と伏せ字、回答が参照文書に基づいているかの確認などです。

実務での使われ方

サポートでは、AIに答えさせない範囲をあらかじめ決めておきます。主に次のような範囲を定めます。

• 料金・契約・法令の質問は有人へ回す
• 他社製品との優劣比較には答えさせない
• 医療・法律などの専門的判断は行わない
• 自社文書に根拠がない場合は、推測で答えずに、答えられない旨を伝える
• 個人情報が含まれる入力を保存しない

さらに、誰が制約を変更できるのか、変更の記録をどこに残すのかも併せて決めておきます。

注意点

制約を締めすぎると、何も答えないAIになります。制約を強くするほど安全側には寄りますが、「回答できません」ばかりを返す状態になれば、顧客は結局、人に問い合わせます。その結果、自動化の効果は出ないまま、入電だけが残ります。そのため、拒否した会話のログを定期的に読み、本来は答えられたはずの質問まで拒否していないかを確認します。運用者は、危険な回答の見逃しと過剰な拒否の両方を数えながら、制約を調整します。

また、プロンプトへの記述だけでは、制約を守り切れません。「答えないでください」と指示文に書くだけの制御は、聞き方を変えられると抜けます。したがって、参照する文書を限定する、出力を検査してから送信する、特定の語を含む質問は有人へ回すなど、仕組みの側でも止まるように作っておくと、抜け道を減らせます。