1. 会見日時：

• 2018年　5月　14日（月）13：00～15：00　
• ＜詳細スケジュール（予定）＞
• 13:00~13:30 　開場・受付
• 13:30~14:10 　記者会見
• 14:10~14:20 　【スペシャルライブ】出演：仮谷せいら(注8)
• 14:20~15:00　 LiVRation 体験会
• 15:00　　　　終了　

2. 会見場所：

• タワーレコード渋谷店 B1F CUTUP STUDIO
• （〒150-0041東京都渋谷区神南1-22-14）

3. 出席者：

• 江崎 浩（東京大学大学院情報理工学研究科創造情報学専攻　教授）
• 塚田 学（東京大学大学院情報理工学系研究科　特任助教）

4. 発表のポイント：

• ライブを遠隔で鑑賞するための高臨場・没入型システムLiVRation（ライブレーション）をVR技術、触覚技術、ハイレゾ音響ストリーミング技術、オブジェクトオーディオ技術を組み合わせて開発しました。
• 本システムは、場所や時間を問わずライブ体験を提供でき、対象者がライブ会場を自由に動き回ったり、好みの歌手の歌声や楽器演奏の音にズームインしたりする体験をインタラクティブに提供できます。
• 本システムの実用化により、場所や時間を問わずライブ体験できる新しいビジネス分野の創出が期待されます。

5．発表概要：

東京大学大学院情報理工学系研究科の江崎浩教授と塚田学特任助教らの研究グループと、Software Defined Media (SDM)コンソーシアム（注 1）の共同チームは、インターネットを前提とした視聴空間の設計や、ソフトウェア制御による視聴メディアの作成、編集、再生の研究に取り組んできました。今回、SDMコンソーシアムメンバーと株式会社アルファコード（注 2）は、西日本電信電話株式会社（注3）の提供するハイレゾ音響ストリーミング技術の提供を受け、ライブを遠隔で鑑賞するための高臨場・没入型システムLiVRation（ライブレーション）を開発しました。

本システムは、場所や時間を問わずライブ体験を提供でき、対象者がライブ会場を自由に動き回ったり、好みの歌手の歌声や楽器演奏の音にズームインしたりする体験をインタラクティブに提供できます。さらに、本システムでは、ライブの臨場感をより高めるという効果を狙い、体験者の身体に振動提示装置を装着させ、ライブで感じるサウンドの低音成分がおなかに響くような体験を提示しています。本システムはビルボードジャパン（注 4）とCiP協議会（注 5）が六本木のビルボード東京で開催した第2回LIVE Hackasong（注 6）にてデモンストレーションを行いました。今後は本システムの実用化を目指します。

6．発表内容：

インターネットを前提とした視聴空間の設計において、空間に存在する収録対象を3次元モデルとして解釈し複数の視聴オブジェクトに分解して伝送し、受信側ではこれらのオブジェクトを用いて空間を再合成するオブジェクト志向の方式が注目を集めています。2014年1月よりSDMコンソーシアムでは、東京大学大学院情報理工学系研究科、慶應義塾大学大学院メディアデザイン研究科、 ヤマハ株式会社、日本電信電話株式会社、株式会社KDDI研究所、パナソニック株式会社、ドルビージャパン株式会社、株式会社バンダイナムコスタジオ、株式会社 イオンエンターテイメント、株式会社 DELL、株式会社アルファコードなどのメンバーが集まり、オブジェクト志向のディジタルメディアと、ネイティブ・ディジタルなインターネット環境が前提の映像・音響空間を用いたビジネス創造を目指し、研究開発を進めてきました。

こうした活動の一環で今回、SDMコンソーシアムメンバーと株式会社アルファコードは、西日本電信電話株式会社の提供するハイレゾ音響ストリーミング技術（注 7）の提供を受け、ライブを遠隔で鑑賞するための高臨場・没入型システムLiVRation（ライブレーション）を開発しました。

図 1に、デモンストレーションのシステム構成を示します。本システムの撮影側の録音は、コンサート会場のスピーカーへと音を送出する前の音源を利用しました。音源は、仮谷せいら（注 8)の声と3つの楽器（ドラム、エレクトリックベース、キーボード）の音を収録するマイクを合計12個設置したのに加えて、環境音を収録するマイク4つを利用しました。録音後は手動で歌声と3つの楽器、環境音を収録するマイク毎に会場で再生されている印象と同様になるように音質、音量、響きなどの調整を行い8回線のデータに纏めました。これら合計８回線の音声データはライブ配信サーバよりMPEG-4 ALSのストリーミングで受信側へと配送されます。映像収録は、Insta 360 Pro、Garmin VIRB 360、Ricoh Theta Vの360度カメラを合計7台用いて行いました。7地点の4Kの360度動画をライブ配信サーバより対象者のPCへと平行でストリーミング配信します。

受信側では、PCとヘッドマウントディスプレイ（HMD）を利用してライブを視聴します。図 2がステージ方面を向いているスクリーンショットです。他の3つの360度動画の視聴ポイントが球体で表されています。HMDに付属のコントローラから伸びる光線をこれらの球体に当てコントローラのボタンを押すとその場所に移動することができます。また、音源をバーの長さが音量によって変化するオブジェクトによって可視化しています。音源は歌手や楽器ごとに収録しているものと、環境音をマイクで収録しているものがあります。この図では、右からドラム、歌手、バス、キーボード、ステージ左の環境音となります。

図 3は、ステージ前のビューになります。音声オブジェクトは音源を表し、HMDセンサにより頭部の動きを検知し頭部を左に振ると右耳から音が聞こえるというように、オブジェクトの位置に音源があるような音が再生されます。図のように音声オブジェクトを掴んだ状態で手首をひねるとその音声の音量を調整できます。また、音声オブジェクトをつかんだ状態で、手前に引きつけることで、他の音を無効化し、つかんだ音声オブジェクトの音だけを聞くことができます。この機能を使えば、例えば歌手の声だけをアカペラで聞けたり、楽器の音だけをインストルメンタルで聞けたりします。同じく音声をつかんだ状態で、奥に押し込むと他の音が有効化されます。

このライブに関するハッシュタグなどのキーワードにマッチしたものを3D弾幕として表示させることで、会場での参加者と他の遠隔の参加者から送られるつぶやきを閲覧できます。これによってHMDでの視聴というパーソナルな体験だけでなく、他者との繋がりや会場との一体感を得られます。

通常、ライブをDVDなど遠隔地で見るという体験は、基本的には提示される映像と耳に入ってくる音声のみの体験になります。特にHMDを被った場合ではヘッドフォンを装着するため、ライブ会場で感じるような低音がお腹に響くような身体への振動を感じることができません。本システムでは、ライブの臨場感をより高めるという効果を狙い、体験者の身体に振動提示装置を装着させ、ライブで感じるサウンドの低音成分が腹部に響くような体験を提示しています。

図 5では、LiVRation体験者の胸に振動子を装着し、ライブの音声にLow Pass Filterをかけて低音成分のみにした後、音声出力端子に接続した振動子に音声の信号情報をそのまま通して振動として再生しています。この方法は、音声情報を振動子にそのまま流し込んで再生しているため、手軽に収録されたライブの音声を身体で振動を体感できるという利点があります。

7. 関連発表

• 東京大学プレスリリース（平成28年7月21日）
  「超臨場SDM方式オーケストラ収録をパブリックデータ化
  - Software Defined Mediaコンソーシアム本格起動 -」

8. 用語解説

（注 1）Software Defined Mediaコンソーシアム： 2014年より、東京大学大学院情報理工学系研究科、慶應義塾大学大学院メディアデザイン研究科、 ヤマハ株式会社、日本電信電話株式会社、株式会社KDDI研究所、パナソニック株式会社、ドルビージャパン株式会社、株式会社バンダイナムコスタジオ、株式会社 イオンエンターテイメント、株式会社 DELL、株式会社アルファコードなどのメンバーが集まり、オブジェクト志向のディジタルメディアと、ネイティブ・ディジタルなインターネット環境が前提の映像・音響空間を用いたビジネス創造を目指し、研究開発を進めてきた。( / )

（注 2）株式会社アルファコード：高精細な8Kの実写VR映像の制作や、アプリ開発事業を行う。「技術」と「アイディア」をいくつも結びつけ、まだ世の中にない新しいサービスの創出に取り組む。 ( http://www.alphacode.co.jp/ )

（注 3）西日本電信電話株式会社：西日本地域における地域電気通信業務とこれに附帯する業務を営む電気通信事業者。コンテンツを活用した豊かな社会の実現に取り組んでいる。

（注 4）ビルボードジャパン：プロメテウスグローバルメディア社と契約し、日本におけるBillboardブランドのマスターライセンスを保有する株式会社阪神コンテンツリンクが運営する音楽メディアおよび音楽チャート。

（注 5）CiP協議会：東京都港区（竹芝地区）に「コンテンツ×デジタル」産業の拠点を形成する活動母体。『コンテンツを核とした国際ビジネス拠点』を形成する都市開発計画において、研究開発・人材育成・起業支援・ビジネスマッチングを柱に活動。2014年から準備会として活動し、2015年４月に一般社団法人CiP（Contents innovation Program）協議会（以下CiP協議会と表記）として設立。

（注 6）LIVE Hackasong：Cip協議会とビルボードジャパンが共催するハッカソン。実用化に繋がる開発を行うため、約3ヶ月にわたって開発するロングランハッカソンとなっている。

（注 7）ハイレゾ音響ストリーミング技術：NTT研究所が国際標準化に貢献した音響ロスレス符号化技術MPEG-4 Audio Lossless (ALS) を用い、NTT研究所が開発したハイレゾ音質によるMPEG-DASH準拠のストリーミング配信を実現する技術。初めてMPEG標準に準拠したままハイレゾ音源をリアルタイム配信できる技術として確立された。

（注 8) 仮谷せいら：“PUMP!”所属のシンガーソングライター。2012年にtofubeatsの「水星 feat. オノマトペ大臣」MVに出演し脚光を浴び、その後もtofubeatsの楽曲にフィーチャリングボーカルとして参加。2015年にPUMP!加入以来、コンスタントに作品リリースを続けながら、他アーティストへの歌詞提供なども行う。近年ではACC TOKYO CREATIVITY AWARDSでゴールドを受賞したBEAMS40周年プロジェクトTOKYO CULTURE STORYに出演/歌唱するなど、音楽×ファッションシーンにおいても注目を集めている。今回、本プロジェクトに参加協力。

9. 添付資料