メインコンテンツへスキップ
定義

Token

モデルが数える単位としてのテキストの断片で、通常は単語より短いものです。コンテキストウィンドウはこれで測られるため、同じ文書があるモデルには収まり別のモデルには収まらないということが起こります。

業界用語
この文脈の中でのみ意味を持つ
LLM