株式会社NTTドコモ（以下、ドコモ）は、AIを活用し、一人一人の嗜好に合わせたライブ映像を自動で構成する「パーソナライズ映像自動構成技術」（以下、本技術）を開発しました。本技術により、視聴者一人一人が個人の嗜好に合わせて最適化されたライブ映像を提供することが可能となります。
近年、音楽ライブやエンターテインメントコンテンツの楽しみ方は多様化しており、視聴者それぞれが好みの出演者（推し）や演出、楽曲シーンなどを重視して視聴するニーズが高まっています。一方で、従来のライブ配信では、すべての視聴者に同一の映像と音声が提供されることが一般的です。複数のカメラ映像を視聴者が切り替えられるマルチアングル配信もありますが、視聴者自身による操作が必要となるほか、特定の出演者（推し）だけに注目すると、ステージ全体の演出や他の出演者の見せ場を見逃してしまうという課題があります。
こうした課題に対応するため、ドコモは本技術を開発しました。本技術は、映像や画像を組み合わせて理解するAIモデルであるVLM（Vision Language Model）※1を活用し、視聴者があらかじめ設定した出演者（推し）のアップ映像と、ステージ全体の演出や見どころを捉えた映像を、AIがバランスよく自動で構成します。これにより、視聴者は視聴中にカメラ映像を切り替える操作をすることなく、嗜好に合わせて構成されたライブ映像を楽しむことが可能となります。
なお、本技術は、2026年11月18日（水）～20日（金）、24日（火）、25日（水）にNTT武蔵野研究センタにて開催予定の「NTT R&Dフォーラム」において、NTT株式会社の音響技術「音響XR」※2と組み合わせた体験デモとして展示します。本デモでは、本技術によるライブ映像の自動構成に加え、「音響XR」により特定の歌声の強調や、出演者の立ち位置に応じた音の方向制御を行います。これにより、映像と音響の両面から一人一人の「見たい」「聴きたい」に応えるライブ体験を提供します。例えば、特定の出演者の歌声を強調して聞きながら、その出演者のアップ映像とグループ全体のパフォーマンス映像を組み合わせて視聴する体験が可能です。
ドコモは今後、本技術の高度化を進めるとともに、音楽ライブに加え、スポーツ観戦やXR/ARグラスを活用した視聴体験などへの応用を検討します。また、将来的に、多数のユーザーへ、一人一人の嗜好に合わせた高品質な映像・音響体験を低遅延で配信することを見据え、6G時代に求められる大容量・低遅延通信を活用した研究開発を推進してまいります。
※1 VLM（Vision Language Model）︓映像や画像などの「視覚情報」と、テキストなどの「言語情報」を同時に処理できる
AIモデルです。映像の内容を理解し、指示に基づいて判断を行うことができます。
※2 音響XR︓空間上の音源を仮想的に3次元配置し、現実の環境音とバーチャル空間の音とを自然に融合させるNTTの音響技術
です。
企業プレスリリース詳細へ
PR TIMESトップへ
関連記事
