正答率

解説

正答率は、ボットが返した回答のうち、内容が正しかったものの割合です。ベンダー選定や導入効果の説明で頻繁に使われますが、測定方法によって数値が大きく変わるため、数字単体での比較には注意が必要です。

分母の取り方で数値が変わる

分母	数値の傾向
ボットが回答した件数	高く出やすい
全質問件数（未回答も含む）	低く出るが実態に近い

「分かりません」と返した分を分母から除外すると、数字は良く見えます。自社で測る際は、未回答を含めた分母でも並行して見るのが健全です。

誰がどの基準で正解と判定するかで数値が動く

正答率の判定は、抽出した対話ログを人が読んで正誤を付ける方法が基本になります。ここで評価者ごとに「正しい」の線引きが違うと、同じログでも数値が変わります。完全に正しい、一部は正しい、誤りの三段階で判定基準を文章にしておき、同じ質問セットを使って定期的に測ると、改善したかどうかを比較できます。

正答率が高くても解決率が上がるとは限らない

回答の内容が正しくても、顧客が知りたかった粒度と違えば、そのまま有人窓口に流れます。正答率はボットの回答そのものの品質を見る指標で、顧客の用件が片付いたかを見るのは解決率や自己解決率です。正答率だけを追うと、答えやすい質問への対応ばかり増やす改善に傾きます。