トークン

解説

トークンは、生成AIが文章を処理するときに扱う最小の単位です。トークンは単語や文字と必ずしも一致せず、1つのトークンが1文字、単語の一部、単語全体、句読点などに当たります。利用料金の計算も、一度に渡せる文章の長さの上限も、トークン数を基準に決まります。そのため、サポート部門でAI機能を検討する際は、費用と制約の両方に関わる概念として押さえておく必要があります。

仕組み

文章は、モデルごとの区切り方に従ってトークンに分割されます。区切り方は、トークナイザ（分割の仕組み）を作る際に使われたテキストの傾向に従って決まります。そのため、大量に使われた言語では、単語のまとまりが1つのトークンに収まりやすくなります。たとえば、OpenAIは、英語では1トークンがおよそ4文字に相当する一方で、他の言語では文字数とトークン数の関係が異なると案内しています。さらに、同じ内容を翻訳した文章でも、言語によってトークン数が最大で15倍程度異なる場合があることが、トークナイザの公平性を調べた研究で報告されています。

実務での使われ方

問い合わせ文も回答文も日本語で扱うサポート業務では、英語を前提にした見積もりをそのまま当てはめず、実際の文面でトークン数を数えて確かめます。長い応対履歴を要約させる場合も、どこまでを生成AIに渡すかを先に決めておきます。

注意点

モデルが一度に受け取れるトークン数には上限があります。上限は拡大しており、100万トークンを扱えるモデルも提供されています。ただし、渡すトークン数が増えるほど、利用料金も増えます。そのため、社内のFAQやマニュアルをまるごと指示文に貼り付けるのではなく、質問に関係する箇所だけを検索して渡すRAGの仕組みが広く使われています。

出典

• Understanding and counting tokens（OpenAI Help Center）
• Language Model Tokenizers Introduce Unfairness Between Languages（Petrov et al., arXiv）