「トークン」カテゴリーアーカイブ

テキスト生成AIにおける最小処理単位「トークン」ーなぜ日本語文よりも英語文の方がより詳細な回答となるのか？

生成AIに与えるプロンプト文は必ずしも文章である必要はない。というのも、WEBインターフェースで生成AIに与えたプロンプト文は、実際に生成AIに処理させる段階でトークン（token)≒単語に分解されるからである。　ト … 続きを読む →