トークン」カテゴリーアーカイブ

テキスト生成AIにおける最小処理単位「トークン」ーなぜ日本語文よりも英語文の方がより詳細な回答となるのか?

生成AIに与えるプロンプト文は必ずしも文章である必要はない。というのも、WEBインターフェースで生成AIに与えたプロンプト文は、実際に生成AIに処理させる段階でトークン(token)≒単語に分解されるからである。   ト … 続きを読む

カテゴリー: AIに関する技術論的考察, トークン | 3件のコメント