トークンとは、テキストを処理する際の最小単位です。自然言語処理 (NLP) や大規模言語モデル (LLM) では、テキストをトークンに分割 (トークナイズ) してから処理します。

ChatGPT などの LLM では、英語の 1 トークンは約 4 文字、日本語の 1 トークンは約 1〜2 文字に相当します。GPT-4o のコンテキストウィンドウは 128K トークンで、これは英語で約 96,000 語に相当します。自然言語処理の入門書でトークナイゼーションの仕組みを学べます。

API の利用料金はトークン数に基づいて計算されるため、プロンプトの最適化はコスト管理に直結します。

日本語は英語に比べてトークン効率が低い (同じ内容でもより多くのトークンを消費する) ため、日本語でのLLM 利用はコストが高くなる傾向があります。ChatGPT 活用の書籍ではトークン数を意識したプロンプト設計が解説されています。