本文へ移動
つまずき地図Vibe Dev Navigator
メニュー

AIでサービスをつくる、非エンジニアのための実践ガイド

用語ナビ

トークン

Token

AIが文章やコードを処理するときに使う、文字列の細かな単位です。

危険度: 通常AIとの会話

今すぐ使う

10秒で意味をつかむ

まずは一言の意味だけつかめば十分です。

ひとことで言うと

モデルが入力と出力を数えて処理するために、文章やコードを分けた単位です。

やさしく言い換えると

文字数と完全には同じではない、AI用の情報量の数え方です。

確かめる

使われ方をイメージする

実際の会話や作業でどう出てくるかを確かめます。

こんな場面で使います

会話、貼り付けた資料、ツールの結果、AIの返答もコンテキスト内のトークンとして扱われる。

知っておく理由

資料を増やすほど、現在の目的に必要な情報を選んで渡すことが大切になります。

自分の言葉で説明できそうなら記録しましょう。

理解する

次に見るものを選ぶ

関連する内容へ一歩だけ進みます。全部を一度に覚える必要はありません。

次の行動

長い資料は目的に必要な部分と現在の決定を先に示す。

別名・一緒に検索できる言葉

入力トークン・出力トークン