確信度スコア

解説

確信度スコアは、ボットが「この回答でよさそうか」について内部的に持っている確からしさの値です。運用者は確信度スコアにしきい値を設け、スコアが低い場合は回答せずに有人対応へ回すといった制御に使います。たとえば、GoogleのDialogflowでは、確信度スコアを0.0（完全に不確実）から1.0（完全に確実）の範囲で示します。さらに、Dialogflowは、最も高いスコアがしきい値に届かない場合、フォールバック（代替の応答）を返します。

判断基準

確信度スコアのしきい値を上げると、誤回答は減りますが、有人対応が増えます。しきい値ごとの傾向は次のとおりです。

閾値	傾向
高くする	誤回答は減るが、有人への回付が増える
低くする	ボット完結率は上がるが、誤回答が増える

誤回答の影響が大きい領域ほど、しきい値を高くします。さらに、しきい値を一律にするのではなく、問い合わせカテゴリごとに変えられるなら、カテゴリ別に設定するほうが安全です。

注意点

確信度スコアが高いことは、回答が正しいことを意味しません。確信度スコアは、学習した例文との近さを反映した値であることが多く、回答の正しさそのものを示すわけではないからです。たとえば、学習していない質問でも、言い回しが似ていれば高い値が返ることがあります。

また、スコアの算出方法は製品ごとに異なり、0から1の確率としてそのまま読めるとも限りません。そのため、他社製品のスコアと見比べても判断材料になりません。自社のログで、どのスコア帯の回答が実際に正しかったかを確かめたうえで、しきい値を決めていくのが確実です。