ハルシネーション

解説

ハルシネーションは、生成AIが存在しない機能や誤った料金などを、自信ありげな文章で回答してしまう現象です。名称は、英語で「幻覚」を意味するhallucinationに由来します。生成された文章は自然なため、顧客が誤った内容を信じてしまうおそれがあります。そのため、サポートの現場では、ハルシネーションが契約上のトラブルやクレームに直結する場合があります。

種類

ハルシネーションは、一般に次の2種類に分けて説明されます。

• 内在的ハルシネーション：入力された文書や参照情報など、生成の元になった情報と矛盾する内容を出力する。元の情報と照合すれば、比較的検出しやすい
• 外在的ハルシネーション：生成の元になった情報からは、正しいとも誤りとも確認できない内容を付け加えて出力する。一見正確に見えるため、発見が難しい

実務での使われ方

サポートでは、AIの回答を自社文書に基づかせたうえで、答えさせない範囲を決めて被害を抑えます。主な対策は次のとおりです。

• RAG（検索拡張生成）で、自社の正しい文書に基づいて回答させる
• 根拠となった記事へのリンクを必ず添える
• 料金・契約・法令などの領域は回答させず、有人へ回す
• 根拠が見つからないときは無理に答えさせない

注意点

現状の技術では、生成AIの回答の正確性を100%にすることはできません。たとえば、OpenAIは、現実の質問の中には本質的に回答できないものがあるため、正確性100%は達成できないと説明しています。一方で、OpenAIは、確信が持てない場合にAIが回答を控えれば、ハルシネーションを防げるとも指摘しています。したがって、ハルシネーションが起きない前提ではなく、起きても致命的な被害にならない運用で備えるのが現実的です。