ChatGPTは画像の中のテキストを認識することもできる。
例えばスマートフォンで撮影したレシートをChatGPTにアップロードし、
購入したものの品名と価格のリストを作成させることもできる。
アップロードした画像は下記である。
oplus_32
最初はChatGPT4を指定し、「画像はスーパーでの買い物のレシートです。買ったもの、および、その金額のリストを作成して下さい。」というプロンプト文を与えた。
これに対するChatGPT4の回答は下記の通りであった。
このレシートには以下の商品が記載されています：
- 玉ねぎ – ¥88
- じゃがいも – ¥98
- にんじん – ¥98
- キャベツ – ¥98
- 鶏胸 – ¥198
- いかだ焼おにぎり – ¥248
- 鯛切身 – ¥335
- 鯛切身 – ¥341
- バラ餃子 – ¥159
合計金額は税込みで¥1,891です。
上記リストの１～４は正しいが、５以降は品名が間違っている。
そこで今度は、ChatGPT4oを指定し、「先ほどのリストの5番目以降は金額は合っていますが、品物の名前は違っています。リストを訂正して下さい。」というプロンプト文を与えた。
これに対するChatGPT4oによる回答は下記の通りであった。
このレシートには以下の商品が記載されています：
- 玉ねぎ袋 – ¥88
- じゃがいも – ¥98
- にんじん – ¥98
- キャベツ – ¥98
- 果物 – ¥198
- いかたこ坊主 水 – ¥248
- 肩切落し – ¥335
- 肩切落し – ¥341
- バラエティたまご – ¥159
合計金額は税込みで¥1,891です。
プロンプト文で指摘した品物の名前の誤りは正しく訂正された。
ただ残念ながらまだ不適切な部分があります。
私もすぐには気がつかなかったため、先のプロンプト文で指示し忘れたのですが、「サラダ」が抜けています。
そこで今度は「リストには一つ品物が抜けています。もう一度、リストを作成しなおしてください。」という指示を与えた。
その結果は下記のとおりである。
申し訳ありません。もう一度、リストを確認して作成しなおしました。
このレシートには以下の商品が記載されています：
- 玉ねぎ袋 – ¥88
- じゃがいも – ¥98
- にんじん – ¥98
- キャベツ – ¥98
- 果物 – ¥198
- サラダナ – ¥88
- いかたこ坊主 水 – ¥248
- 肩切落し – ¥335
- 肩切落し – ¥341
- バラエティたまご – ¥159
合計金額は税込みで¥1,891です。
今度はすべて正解です。ChatGPT4oは本当に使い物になりそうです。
＜注＞
なお上記は有料版のChatGPTアカウントによるものであるが、無料版のChatGPTアカウントでも、画像のアップロードおよびテキスト認識機能は利用できる。
そこで試しに、無料版のChatGPTアカウントで同じ画像ファイルで「画像はスーパーでの買い物のレシートです。買ったもの、および、その金額のリストを作成して下さい。」という指示を与えたところ、今度は一発で正解した。
無料版のChatGPTアカウントでは利用モデルを指定できないが、GPT4oを制限付きながら利用できるので、その成果が現れたのであろう。（なお ログインしているアカウントが異なるので、有料版のChatGPTアカウントでのやり取りに関するmemory機能が働いているわけではないと思われる。）
そこで試しに、無料版のChatGPTアカウントで同じ画像ファイルで「画像はスーパーでの買い物のレシートです。買ったもの、および、その金額のリストを作成して下さい。」という指示を与えたところ、今度は一発で正解した。
無料版のChatGPTアカウントでは利用モデルを指定できないが、GPT4oを制限付きながら利用できるので、その成果が現れたのであろう。（なお ログインしているアカウントが異なるので、有料版のChatGPTアカウントでのやり取りに関するmemory機能が働いているわけではないと思われる。）
