ハルシネーション

解説

ハルシネーションは、生成AIが存在しない機能や誤った料金を、自信ありげな文章で回答してしまう現象です。文章として自然なため顧客が信じてしまい、サポートでは契約やクレームに直結し得るリスクです。

自社文書に基づかせ、答えさせない範囲を決める

• RAGで自社の正しい文書に基づいて回答させる
• 根拠となった記事へのリンクを必ず添える
• 料金・契約・法令などの領域は回答させず、有人へ回す
• 根拠が見つからないときは無理に答えさせない

完全になくせない前提で被害を抑える設計にする

現状の技術でハルシネーションを完全になくすことはできないとされています。「起きない前提」ではなく、「起きても致命傷にならない設計」で備えるのが現実的です。