マルチモーダルAI

解説

マルチモーダルAIは、テキスト、画像、音声、動画など、種類の異なる複数の情報（モダリティ）をまとめて処理できるAIです。たとえば、GoogleのGeminiは、テキスト、画像、音声、動画を扱えます。カスタマーサポートでは、顧客から送られてきた画像を読み取る場面などで使われます。

実務での使われ方

マルチモーダルAIを使うと、言葉で説明しにくい申告を画像で受け取れます。たとえば、顧客が送ってきたエラー画面のスクリーンショットを読み取って原因を推定する、製品の写真から型番を特定するといった場面が典型例です。「画面に赤い字が出ている」としか伝えられなかった申告が、1枚の画像で特定できることもあります。

ただし、画像の送付手順が分かりにくいと、顧客に利用されません。そのため、チャットやフォーム側の添付の導線もあわせて点検します。

注意点

送られてくる画像には、顧客の個人情報が写り込んでいることがあります。そのため、受け取ったデータの保管と削除の扱いを先に決めておきます。さらに、AIが読み取った内容が合っているかは、回答する前に担当者が確認する運用が無難です。