キャリブレーション

解説

キャリブレーションは、応対品質の評価にかかわるSVやQA担当者が、評価のものさしを互いに合わせるために行う会議や手順を指します。評価者が一人しかいない体制では成り立たないため、SVやQA担当者が複数になった段階で導入を検討します。また、評価表をオペレーターにも公開しておくと、すり合わせた基準が日々の応対にも反映されやすくなります。

実務での使われ方

キャリブレーションでは、評価者が個別に採点してから、点数に違いのあった項目を議論します。まず、同じ応対記録を評価者全員が独立して採点します。次に、点数を並べて、差が出た項目について「なぜその点数にしたのか」を説明し合います。理由を言葉にする過程で、評価表の記述があいまいな箇所も見つかるため、評価表の改定とあわせて定期的に行うのが一般的です。

注意点

評価者ごとに点数がぶれると、評価制度そのものが信用されなくなります。応対品質の評価には、「丁寧さ」「分かりやすさ」といった評価者の判断が入る項目が含まれるからです。評価者によって点数が変わる状態では、オペレーターは何を目指せばよいかわからなくなり、評価制度への不信につながります。なお、生成AIを使って全件の応対を自動評価する仕組みを導入する場合も、AIが参照する評価基準の記述があいまいであれば、評価結果の解釈がぶれるおそれがあります。