ヒューマン・イン・ザ・ループ

AIによる処理の途中に人の確認や判断を組み込み、AIだけで結果を確定させない運用の考え方。

解説

ヒューマン・イン・ザ・ループは、AIが処理する流れの中に人の確認や判断を入れ、最終的な結果に人が責任を持てるようにする考え方です。カスタマーサポートでは、AIが作った返信の下書きをオペレーターが確認してから送る、AIが提案した返金の処理を担当者が承認してから実行する、といった形で取り入れられます。

人の確認をどこに入れるかは、誤りが起きたときの影響の大きさで決めます。主な目安は次のとおりです。

また、OWASPは、プロンプトインジェクションへの対策の一つとして、影響の大きい操作に人の承認を求めることを挙げています。さらに、EUのAI法の第14条は、高リスクのAIシステムについて、監督する人がAIの出力を覆したり、システムを安全に停止したりできるよう求めています。

導入の初期は、AIの回答をすべて人が確認し、誤りの傾向をつかんでから、確認の範囲を段階的に絞ります。さらに、人が修正した内容を記録しておくと、AIへの指示や参照する記事の改善に生かせます。

確認する人が、AIの提案をそのまま承認し続ける状態になると、人を入れた意味が薄れます。AIの出力を過信する傾向は、自動化バイアスと呼ばれます。したがって、確認の件数と修正の件数をあわせて記録し、確認が形だけになっていないかを点検します。

なお、既存の用語「有人切り替え」は自動応答から人の対応へ会話を移すこと、「承認フロー」は公開や送信の前に確認を経る手続きを指します。