トークン

解説

トークンは、生成AIが文章を処理するときに扱う最小の単位です。単語とも文字とも一致せず、モデルごとの区切り方に従って文章が分割されます。利用料金の計算も、一度に渡せる文章の長さの上限も、この単位を基準に決まります。サポート部門でAI機能を検討する際は、費用と制約の両方に関わる概念として押さえておく必要があります。

同じ内容でも言語によってトークン数は大きく変わる

同じ意味の文章でも、どの言語で書くかによってトークン数は変わります。区切り方は学習に使われたテキストの偏りに従って決まるため、大量に学習された言語では単語のまとまりが1つのトークンに収まりやすくなります。同じ内容を訳した文章でも、言語によって符号化の長さが大きく異なることは、トークナイザの公平性を調べた研究で報告されています。問い合わせ文も回答文も日本語で扱うサポート業務では、英語を前提にした見積もりをそのまま当てはめず、実際の文面でトークン数を数えて確かめます。

入力できる長さの上限がRAGを必要にする

モデルが一度に受け取れるトークン数には上限があります。そのため、社内のFAQやマニュアルをまるごと指示文に貼り付けて回答させる運用は成り立ちません。質問に関係する箇所だけを検索して渡すRAGの仕組みが要るのは、この制約が理由です。長い応対履歴を要約させる場合も、どこまでを渡すかという設計が先に来ます。

出典

• Understanding and counting tokens（OpenAI Help Center）
• Language Model Tokenizers Introduce Unfairness Between Languages（Petrov et al., arXiv）