アノテーション

解説

アノテーションは、機械学習のうち、正解付きのデータから学習する「教師あり学習」に向けて、元のデータに正解のラベルを付与する工程です。たとえば、問い合わせ文に「解約」「請求」といった分類を割り当てたり、文中の商品名に印を付けたりします。

機械学習の精度は、付与したラベルの質に大きく左右されます。そのため、モデルの改良よりも先に学習データの質を高めるほうが、成果につながる場合があります。

種類

カスタマーサポートで扱うテキストデータでは、主に次のアノテーションが行われます。

• 分類：問い合わせ文ごとに「解約」「請求」などのカテゴリを割り当てます。
• 固有表現の範囲指定：文中の商品名、人名、組織名などの文字列の範囲を指定します。

このほか、画像では写っている物の範囲の指定、音声では書き起こしや話者の区別などのアノテーションがあります。

実務での使われ方

アノテーションを始める前に、担当者は判断基準を文書化し、複数人で判断をそろえます。作業基準には、分類ごとの定義、迷いやすいケースの扱い、正しい例と誤った例を含めます。

そのうえで、同じデータを複数人にラベル付けさせ、判断が一致するかどうかを確認します。食い違いの多い分類は、定義を書き換えるか、他の分類へ統合するかを検討します。一致の確認を省いたまま件数だけを積み上げると、あとから全件のラベルを付け替える事態になりかねません。

注意点

分類の粒度を細かくしすぎると、かえって精度が落ちることがあります。問い合わせの分類を細かく分けるほど、現場で読み取れる情報は増えます。一方で、境界のあいまいな分類が増えると、作業者ごとに判断が割れ、似た文章に別のラベルが付きます。AIはラベルの揺れもそのまま学習してしまいます。したがって、分類ごとに一定の件数を確保できる粒度にとどめるほうが、結果として正答率は上がりやすくなります。