リアルタイム字幕表示で聴覚障がいと多言語に対応するスマートグラスを展示

大日本印刷株式会社（DNP）は、2024年10月18日（金）～20日（日）に新宿中央公園（東京都新宿区）で開催するスマートシティフェスタの「11号街路下エリア」に、AR（拡張現実）を活用したスマートグラスを開発・販売する日本Xreal株式会社とともに出展します。
今回の出展では、説明員や体験者の音声をマイクで認識してリアルタイムにスマートグラス「XREAL Air 2 Ultra」に字幕として表示する他、認識した音声を日本語、英語、中国語（繁体・簡体）、韓国語のいずれかに翻訳した字幕を表示します。そのため、聴覚に障がいを持つ人や日本語を母語としない人にも、その場の話の内容を共有することができます。日本語と英語については、テキストの内容に合わせて最適なフォントを表示する「DNP感情表現フォントシステム」を活用します。

（左）スマートグラスを装着したガイドツアーのイメージ　（右）スマートグラスへの翻訳字幕表示イメージ

【多言語の翻訳字幕を表示するスマートグラスとフェスタ出展の概要】
観光地や展示会などでは、年齢や母語の違い、障がいの有無等にかかわらず、必要な情報がより多くの人に届き、楽しんだり知識を深めたり意思疎通したりしやすくなる「ユニバーサルコミュニケーション」が求められています。その推進に向けてDNPは、東京都の「西新宿先端サービス実装・産官学コンソーシアム」に参画し、「先端技術を活用したユニバーサルコミュニケーション分科会」において開発パートナーの株式会社アイシン、日本Xrealとともに、リアルタイムで音声を認識・翻訳して、スマートグラスに字幕を表示するシステムを開発しました。今回は、同分科会としてスマートシティフェスタに出展します。
このシステムを利用して、2024年1月には、聴覚に障がいを持つ人を主な対象としたパブリックアート鑑賞会を、2024年9月には、日本語を母語としない人を主な対象とした多言語対応ガイドの体験会をそれぞれ都庁内で開催して好評を得ました。今回の「スマートシティフェスタ」では、聴覚に障がいを持つ人や日本語を母語としない人も含めて、多くの人がリアルタイムで同じ情報を得て、一緒に楽しむことができるスマートグラスの展示を行い、その効果や課題を検証します。

【展示するスマートグラスの特長】
1.周囲の音声を認識し、翻訳した字幕をスマートグラスにリアルタイムで表示
開発パートナーのアイシンのリアルタイム音声認識システム「YYSystem」により、スマートグラスでリアルタイムに周囲の音声を認識・翻訳し、スマートグラスに字幕を表示します。認識した音声を他の言語に翻訳せずに表示することも可能です。
また、スマートグラスに接続した指向性マイクを解説している人などに向けることで、聞きたい方向の音声を字幕表示することもできます。

2.スマートグラスの最新モデル「XREAL Air 2 Ultra」での体験を提供
開発パートナーである日本Xrealのスマートグラスの最新モデル「XREAL Air 2 Ultra」を体験できます。この製品は、周囲の明るさに合わせてレンズの遮光率を3段階で調整可能で、前機種よりも明るさやリフレッシュレート（１秒間の表示切り替え回数）が向上しました。軽量化に加え、グラスのボディ前後の重量バランスの改善によって、長時間使用しても疲れにくい快適な付け心地を実現しました。

3.会話の内容に合わせて最適なフォントを表示
テキストデータの内容を自動解析し、そこで表現された感情や話題に合わせて自動的にフォントを切り替える「ＤＮＰ感情表現フォントシステム」を活用しています。（現在、日本語、英語の表示に対応。）音声をテキストにした際に、単語が持つ感情やイメージに合わせて、最適なフォントや色を自動的に選択して表示します。フォントや色が変化することで、感情やイメージを読み取りやすくなるだけでなく、テキスト内の重要な部分に目が行き、理解しやすくなります。

■スマートシティフェスタ出展について
○開催日時：2024年10月18日（金）～20日（日）　10:00～18:30（10月20日は17:00終了）
○場所：新宿中央公園ファンモアタイムひろば、都民広場、11号街路下　＊（DNPは11号街路下エリアに出展）
○費用：無料（予約不要）
○公式WebサイトURL → https://smartcityfes2024.metro.tokyo.lg.jp/?utm_source=exhibition&utm_medium=media&utm_campaign=smc2024

【今後の展開】
DNPは、2023～2025年度の中期経営計画の注力事業領域として「コンテンツ・XRコミュニケーション関連」を掲げています。リアルとバーチャルの空間を融合する「XR（Extended Reality）」の技術を活かし、新しい体験と経済圏の創出を目指す「XRコミュニケーション(R)事業」＊1を展開しています。
その一環で、スマートグラスを利用した「MR（Mixed Reality：複合現実）体験」について、機能や用途の開発等を継続するとともに、「ユニバーサルコミュニケーション」の一助となる製品・サービスを開発し、企業や自治体、文化施設等に展開していきます。

＊1　DNPのXRコミュニケーション事業について → https://www.dnp.co.jp/biz/products/maintag/xr.html
※記載されている会社名・商品名は、各社の商標または登録商標です。
※記載された内容などは発表日現在のものです。今後予告なしに変更されることがありますので、あらかじめご了承ください。
企業プレスリリース詳細へ
PR TIMESトップへ

PR TIMES ママ
関連記事

>大日本印刷（DNP）イベントママ新商品PR TIMES