確信度スコア

解説

確信度スコアは、ボットが「この回答でよさそうか」を内部的に持っている確からしさの値です。この値に閾値を設け、低い場合は回答せずに有人へ回すといった制御に使います。

閾値を上げると誤回答は減るが有人対応が増える

閾値	傾向
高くする	誤回答は減るが、有人への回付が増える
低くする	ボット完結率は上がるが、誤回答が増える

誤回答の影響が大きい領域ほど閾値を高くします。一律ではなく、問い合わせカテゴリごとに変えられるならそのほうが安全です。

スコアが高いことは回答が正しいことを意味しない

この値が示すのは、学習した内容とどれだけ近いかであって、回答の正しさそのものではありません。学習していない質問でも、言い回しが似ていれば高い値が返ることがあります。数値の算出方法は製品ごとに違い、0から1の確率としてそのまま読めるとも限らないため、他社製品のスコアと見比べても判断材料になりません。自社のログで、どのスコア帯の回答が実際に正しかったかを確かめたうえで、閾値を決めていくのが確実です。