ChatGPT4o

OpenAIによるChatGPT4oに関するプレスリリース。デモンストレーションとしては、下記の紹介動画の方が優れている。なお下記の性能比較図によれば、ChatGPT4oは、Claude 3 Opuesよりも、全項目でほぼ同じかそれを上回る性能を示している。GPT-4T(GPT4 Turbo)との比較では、DRCPだけGPT4oが下回るが、他では上回っている。

サム・アルトマンは、本ブログにおいて2つのことを強調している。
　第1点目は、「ChatGPTの最新モデルChatGPT4oを有料サービスとしてだけではなく、無料サービスとしても提供する」としたことである。すなわち、アルトマンは本ブログの冒頭において” a key part of our mission is to put very capable AI tools in the hands of people for free (or at a great price). I am very proud that we’ve made the best model in the world available for free in ChatGPT, without ads or anything like that. ”［私たちのミッションの重要な部分は、非常に有能なAIツールを無料で（あるいはかなり割安な価格で）人々の手に届けることです。世界最高のChatGPTモデルを、広告などなしに無料で利用可能としたことを私はとても誇りに思っています。］と述べている。
　第2点目は、「ChatGPTの最新モデルChatGPT4oの革新的インターフェース」の画期性である。ChatGPT4oは、マイクによる音声入力、および、ビデオカメラによる動画入力に対応したインターフェースに対応した。これまでもアップルのSiriやアマゾンのAlexaのように、人間との音声的コミュニケーションをおこなうAIは存在した。ChatGPT4oはそうした機能をさらに高度化したに止まらず、ビデオカメラで撮影している画像にリアルタイムに対応した対話機能を備えたのである。
　これまでのAIは、人間の五感の内でいわば「聴覚」機能しか有していなかったのであるが、ChatGPT4oはそれに加えて「視覚」機能も有するようになったのである。人間の身体で言えば、これまでは「耳」と「口」しか有していなかったのに対して、ChatGPT4oは「眼」も備わったことになる。
　こうした技術革新とともに、それ以前のやりとりを踏まえた回答を生成するメモリ機能、テキストや音声などのデータ解析・回答生成機能、応答速度に関するさらなる性能向上もあり、SF映画のスタートレックのホロデッキに登場するAI人物や、映画『her／世界でひとつの彼女』のサマンサなどと同じように、感情表現豊かで人間らしい自然な音声コミュニケーションが可能となっている。
　アルトマンは”the new voice (and video) mode is the best computer interface I’ve ever used. It feels like AI from the movies; and it’s still a bit surprising to me that it’s real.”［（ChatGPT4oの）新しい音声モードおよびビデオモードは、私がこれまで使った中で最高のコンピューター・インターフェースだ。まるで映画に出てくるAIのようで、それが現実化したことにまだ少し驚いている。］と述べているが、まさにその通りである。
　

chatgptjapan.orgnによるGPT-4oに関する説明。本WEBページによると、GPT-4oは「平均320ミリ秒、232ミリ秒の音声入力に応答することができる」など音声、視覚、テキストをリアルタイムで推論することができる。またテキスト、画像、音声といった情報を統合的に取り扱うことができるので、ユーザーはGPT-4oに画像をアップロードしたり、音声で話しかけるといった形でのインターフェースを実現している。そのためGPT-4と写真・動画に基づく会話が可能となっている。
　すなわちGPT-4oは、「トーン、背景雑音、複数の話者のダイナミクスを無視して」いたそれ以前の推論エンジンとは異なり、感情を込めた話し方でのリアルタイムでの応答処理が可能となっている。「（Whisper、GPT、TTSをパイプラインで組み合わせたGPT-4o以前のOpenAIシステムの）Voiceモードの平均待ち時間はGPT-3.5で2.8秒、GPT-4で5.4秒」とかなりの応答遅延があったが、GPT-4oの応答速度はGPT-3.5の9倍、GPT-4の17倍も高速であり、わずか0.32秒という平均待ち時間を達成している。同WEBページによると、人間の平均応答時間は0.21秒であるから、ほぼ人間並みの応答速度である。

また同WEBページによるベンチマークテストの結果は下記の通りであり、GPT-4oは、旧バージョンのGPT-4Turboはもちろんのこと、競合のGemini 1.0 Ultra、Gemini 1.5 Pro、Claude Opusを上回る性能となっている。

Eval Sets	GPT-4o	GPT-4T 2024-04-09	Gemini 1.0 Ultra	Gemini 1.5 Pro	Claude Opus
MMMU(%) (val)	69.1	63.1	59.4	58.5	59.4
MathVista (%) (testmini)	63.8	58.1	53.0	52.1	50.5
AI2D (%) (test)	94.2	89.4	79.5	80.3	88.1
ChartQA (%) (test)	85.7	78.1	80.8	81.3	80.8
DocVQA (%) (test)	92.8	87.2	90.9	86.5	89.3
ActivityNet (%) (test)	61.9	59.5	52.2	56.7
EgoSchema (%) (test)	72.2	63.9	61.5	63.2

上記WEBページのDaisuke Takimotoによる日本語訳が下記にある。
”ChatGPTが、もっと“人間”らしく進化。OpenAIの最新モデル「GPT-4o」の実力” wired.jp, 2024/5/14
https://wired.jp/article/openai-gpt-4o-model-gives-chatgpt-a-snappy-flirty-upgrade/

GPT-4oに関するサム・アルトマン（Sam Altman）の2024/5/13付けブログ投稿を受けて書かれたブログ。
本ブログにおいて著者のBrian Barret(Wiredニュースのexecutive editor)は、”To be honest, it felt like AI from one movie in particular: Her, the 2013 Spike Jonze sci-fi film that correctly foresaw a future in which AI relationships could handily substitute for human connection—well, it felt like and sounded like. In the demo, ChatGPT’s voice is remarkably similar to that of Her star Scarlett Johansson. In case there was any doubt as to the reference point, Altman tweeted “her”—just the one word—shortly after the event.”［正直なところ、ある映画のAIのように感じた： 2013年に公開されたスパイク・ジョーンズ監督のSF映画『her／世界でひとつの彼女』は、AIが人間のつながりを代替する未来を正確に予見していた。デモでは、ChatGPTの声は『her／世界でひとつの彼女』の主演女優スカーレット・ヨハンソンの声に酷似している。参考にしたのがスカーレット・ヨハンソンなのかどうか疑わしいかもしれないが、アルトマンはデモの直後に「her」とツイートしている。］と述べて、OPEN AIはChatGPT4oのデモンストレーションに際して映画『her／世界でひとつの彼女』のサマンサを強く意識していたことを指摘している。

OpenAIのChatGPT4o、GoogleのVeoなどを取り上げながら、生成AIの活用法、問題点などをわかりやすく紹介している。
当該ページ、および、下記WEBページに内容紹介がある。https://news.ntv.co.jp/category/economy/2a20ab40bc104a2fb896afba53d16193