マイクロソフトは、日本時間7月19日未明から開催中のパートナー向け年次イベント「Microsoft Inspire 2023」において、AIチャットサービス「Bing Chat」に、画像を基に質問ができる「ビジュアルサーチ」機能（Visual Search in Bing Chat）を追加したことを明らかにしました。
ビジュアルサーチの機能はOpenAIのGPT-4モデルを活用したものだと説明されています。
下記はBing Chatのビジュアルサーチのデモ動画として、手書きのWebフォームの画像からHTML/CSSを生成させる様子を紹介したものです。
手書きのWebフォーム画像からHTML/CSSを生成
Bing Chatの画面。
画面下部の入力欄の右端から、画像のアップロード機能が呼び出せる。
プロジェクトマネジメントのためのWebフォームを手書きした画像をアップロードする。
この画像を基に、HTMLとCSSを生成するようにプロンプトから次のように入力する。「Generate HTML code based on this image. Use css to make it look cool. Projects can be assigned to AAA,BBB,CCC. Priority can be high, medium, low.」（この画像を基にHTMLコードを生成せよ。CSSを使ってクールな感じで。プロジェクトにはAAA、BBB、CCCを割り当てることが出来る。プライオリティの高、中、低に対応する）
画像とプロンプトが表示され、自動生成が開始。
HTMLとCSSが生成される。
目的とするHTMLフォームの動作が確認できた。
その他、冷蔵庫の中身の写真を見せてランチのアイデアを質問したり、建物の写真を見せて建築様式について質問したりできるとのことです。
Bing Chatのビジュアルサーチ機能は、まずは一般向けのBing ChatとBingのモバイルアプリケーション向けに提供が開始され、その後Bing Chat Enterpriseへも展開予定とされています。
