生成テキストの内容・精度に関わる4つの規定要因 - ハードウェア、ソフトウェア、利用データ、学習(training)

生成AI「製品」に関する中核的技術は、大規模言語モデル(Large Language Models、LLM)であるが、ChatGPT4.0という同一の大規模言語モデルを利用したOpenAIのChatGPT、MicrosoftのBing AI、PerplexityのPerplexity AIという3つのproductが生成する「回答」はかなり異なっている。

テキスト生成AIの「個性」問題は、人間の個性に関する説明の場合と同じく、「遺伝」的要因と「環境」的要因という視点から説明することができる。

 
生成テキストの内容・精度に関わる4つの規定要因 - ハードウェア、ソフトウェア、利用データ、学習(training)
「遺伝」的要因としての要因1・要因2
     vs
「環境」的要因としての要因3・要因4

 

「環境」的要因がより重要!? - 「氏より育ち」問題

 
要因1 ハードウェア
—- 「低コスト」化重視 vs 「高性能・高速」化重視
「より低コストなハードウェア」実現の追求と「より高性能なハードウェア、高速度なハードウェア」実現の追求は、相反的である。GPU性能、CPU性能、利用可能メモリ量、データ読込速度、データ書込速度などのスペックを上げれば上げるほどコストが増大する。
 
要因2 ソフトウェア
—- より優れたアルゴリズム・学習モデル、より大規模でより優れた言語モデル
 
要因3 事前学習プロセス、事後学習プロセス、テキスト生成プロセスにおいて利用するデータの質と量
—- より良質なデータ、より大量のデータ
  1. LLMの事前学習および事後学習における「より良質な、より大量の」テキストデータ — Public domainのデータ、Open Contentのデータなどの利用
  2. テキスト生成時における「最新情報の利用」 — ChatGPT無料版は最新情報にアクセスしないで回答を生成する(2021年9月以前のデータに基づいて回答をしている。)
  3. Web経由での対話型での利用には文字数制限など限界がある- API(アプリケーション・インターフェース)利用によって、より適切で、より信頼度の高い「回答」が期待できる。ChatGPT3.5であれば1kトークンで0.002ドル(1kトークン≒750Wrodとして計算すると、1,000wordの双方向的会話を1,000回で100万Wordとなり2.7ドル、なおSchumpeter(1926) Theorie der wirtschaftlichen Entwicklungで約13万Word)
  4. Fine Tuningによる特定の目的・用途への最適化 - 汎用AIを、利用目的に応じてFine tuning
要因4 AIに対するTraining(学習)法の質と量
—- より適切なTraining方法、より多くのTraining
  1. 深層学習(deep learning)、敵対的学習(Adversarial Training)などによる学習のさせ方の優劣
  2. 過学習によるOverfitting(過剰適合)の抑制
 
カテゴリー: AIに関する技術論的考察, AIの個性 パーマリンク