正答率

解説

正答率は、チャットボットの回答品質を測る指標で、ボットが返した回答のうち内容が正しかったものの割合を表します。ベンダー選定や導入効果の説明でよく使われます。ただし、測定方法によって数値が大きく変わるため、数値だけで他社の製品と比べることは避けます。

生成AIを使ったボットでは、回答文を毎回その場で作ります。そのため、事実と異なる内容をもっともらしく答えるハルシネーションも、誤答として判定する必要があります。

算出方法

正答率（％）＝ 正しいと判定した回答の件数 ÷ 判定の対象とした件数 × 100

分母の取り方によって、正答率の数値は次のように変わります。

分母	数値の傾向
ボットが回答した件数	高く出やすい
全質問件数（未回答も含む）	低く出るが実態に近い

「分かりません」と返した分を分母から除外すると、数値は良く見えます。したがって、自社で測る際は、未回答を含めた分母でも並行して見ると実態をつかみやすくなります。

正誤の判定には、抽出した対話ログを人が読んで正誤を付ける方法があります。このほか、回答の後に利用者へ「役に立ったか」を尋ね、肯定的な回答の割合を正答率とみなす方法もあります。人が判定する場合は、評価者ごとに「正しい」の線引きが違うと、同じログでも数値が変わります。そこで、「完全に正しい」「一部は正しい」「誤り」の3段階で判定基準を文章にしておき、同じ質問セットを使って定期的に測ると、改善したかどうかを比較できます。

注意点

回答の内容が正しくても、顧客が知りたかった粒度と違えば、顧客はそのまま有人窓口に問い合わせます。正答率はボットの回答そのものの品質を見る指標であり、顧客の用件が片付いたかを見る指標は解決率や自己解決率です。正答率だけを追うと、答えやすい質問への対応ばかりを増やす改善に傾くおそれがあります。