アノテーション

解説

アノテーションは、AIに学習させるデータへ、正解となる分類や情報を人手で付けていく作業です。問い合わせ文に「解約」「請求」といった分類を割り当てたり、文中の商品名に印を付けたりします。機械学習の精度はこのラベルの質で決まる部分が大きく、モデル選びよりも先に手を入れるべき工程といえます。

分類の粒度を細かくしすぎると精度が落ちる

問い合わせの分類を細かく分けるほど、現場で読み取れる情報は増えます。ただし、境界のあいまいな分類が増えると作業者ごとに判断が割れ、似た文章に別のラベルが付きます。AIはその揺れをそのまま学習してしまうため、一定の件数を確保できる粒度に留めるほうが、結果として正答率は上がります。

判断基準を先に文書化して複数人で揃える

作業を始める前に、分類ごとの定義と、迷いやすいケースの扱いを文書にしておきます。そのうえで同じデータを複数人にラベル付けさせ、判断が一致するかどうかを確認します。食い違いの多い分類は、定義を書き直すか、他の分類へ統合するかを検討します。この確認を省いたまま量だけ積み上げると、あとから全件をやり直す事態になりかねません。