1. 発表者：

• 江崎 浩（東京大学大学院情報理工学研究科創造情報学専攻　教授）
• 塚田 学（東京大学大学院情報理工学系研究科　特任助教）

2. 発表のポイント：

• クラウドやローカルでのソフトウェア制御による視聴メディアの作成、編集、再生に適した超臨場SDM方式（注1）データを定義し、データベースを構築しました。
• 最大24名によるコンサートを、合計82チャンネルのさまざまな方式のマイク、360度カメラ、4Kカメラで収録し、データベース化しました。
• 今回、収録したデータは、研究開発・教育用にSoftware Defined Media（SDM）コンソーシアム（注2）とWIDEプロジェクト（注3）のメンバーに実験素材として公開されます。

3．発表概要：

インターネットを前提とした視聴空間の設計において、空間に存在する収録対象を3次元モデルとして解釈し複数の視聴オブジェクトに分解して伝送し、受信側ではこれらのオブジェクトを用いて空間を再合成するオブジェクト志向の方式が注目を集めています。東京大学大学院情報理工学系研究科創造情報学専攻の江崎教授と塚田特任助教、ヤマハ株式会社、日本電信電話株式会社は、SDMコンソーシアムの活動を通じて、クラウドやローカルでのソフトウェア制御による視聴メディアの作成、編集、再生に適した3Dオブジェクトベースの視聴データを定義し、データベースを構築しました。この方式に基づき、慶應義塾大学 コレギウム ムジクム古楽アカデミー（注4）の最大24名によるコンサートを、合計82チャンネルのさまざまな方式のマイク、360度カメラ、4Kカメラで収録し、データベース化しました。本収録データを利用することで、例えば、映像がある奏者にズームアップするとその奏者が奏でる音も連動してズームアップするなどのインタラクティブなコンテンツを簡単に作成することが可能になると期待されています。SDMコンソーシアムメンバーとWIDEプロジェクトメンバーに実験素材として提供されます。

4．発表内容：

地球規模での一体感を生み出すような視聴メディアには、グローバルなインターネットを前提とした映像・音響の視聴空間と視聴メディアの設計が必要になります。近年は、多くのスマートフォンに標準的に内蔵される収録機器を常時持ち歩くことが増え、収録された映像音声の情報はインターネット上で瞬時に伝達・共有・加工される状況が出来上がりました。さらには、収録対象から映像素子に入力されたビットマップ情報と、ステレオマイクに入力された2チャネルの音声情報としてそのまま伝送し、受信側でそのまま再生するだけでなく、空間に存在する収録対象を3次元モデルとして解釈し複数の視聴オブジェクトに分解して伝送し、受信側ではこれらのオブジェクトを用いて空間を再合成するオブジェクト志向の方式が注目を集めています。これにより、ヘッドマウントディスプレイ（HMD）、3Dテレビ、立体音響装置などの受信側のシステムの構成に合わせた柔軟な3次元表現が可能となるだけではく、他のコンテンツの視聴オブジェクトを別途受信し組み合わせることで、今までにない表現が可能になります。

例えば、音響においては、Dolby AtmosやDTS:Xなどの映画館やホームシアター、さらには個人向けモバイル機器を対象に、音のオブジェクトから3次元の音場を生成する立体音響システムが登場しています。また、映像においては、複数の地点・角度から撮影された映像・動画から、撮影した空間に存在する3次元オブジェクトの抽出が可能であり、抽出した3次元オブジェクト情報を用いて、任意の視点(自由視点)からの映像の作成・再構築が可能となりつつあります。

こうした流れに目を向けると、今後はインターネットで収録環境と再生環境を双方向で接続し、視聴オブジェクトを交換しながら、3次元表現を持つ情報空間をエッジヘビーコンピューティングまたはクラウドで計算処理することよって、映像音声が作り出されていくことになると考えられます。映像と音声のオブジェクト化が融合することで、従来の配布型コンテンツビジネスを超えた、新しい次元のインタラクティブなオリンピック・パラリンピックの視聴形態などこれまでにないビジネス領域や、これまでにないディジタルメディアを用いた表現方法などを開拓・開花させることが期待されます。

2014年1月よりSDMコンソーシアムでは、東京大学、慶應義塾大学、ヤマハ株式会社、日本電信電話株式会社、株式会社KDDI研究所、パナソニック株式会社、ドルビージャパン株式会社、株式会社バンダイナムコスタジオ、株式会社 竹中工務店などのメンバーが集まり、オブジェクト志向のディジタルメディアと、ネイティブ・ディジタルなインターネット環境が前提の映像・音響空間を用いたビジネス創造を目指し、研究開発を進めてきました。さらにさまざまなリッチコンテンツのクラウド化や共同音楽制作の可能性を追求するため、またシームレスなメディアへのアクセスや、柔軟なソフトウェアによるレンダリングを研究するための素材を必要としていました。

そこで、今回、SDMの実験素材として、慶應大学 日吉キャンパス 藤原記念ホールで開催された慶應義塾大学 コレギウム ムジクム古楽アカデミーのコンサートを収録しました。図 1および図 2はオーケストラ収録の様子です。17世紀のドイツ宮廷音楽であるヨハン・フリードリヒ・ファッシュの「管弦楽組曲ト長調 FaWV K:G2」など、最大24名の演奏家による全てアコースティックの演奏を収録しました。楽器には、テオルベ、チェンバロ、バロック・ヴァイオリン、バロック・オーボエ、ヴィオラ・ダ・ガンバなどの現代では珍しい楽器が含まれております。

図 3にカメラとマイクの配置を示します。コンサートで収録した項目は以下の通りです。

• 楽器ごとのマイク
• 携帯端末のカメラとマイク
• ダミーヘッド
• 球体マイク
• 全天球マイク
• 360度カメラ
• 天井からつるしたステレオマイク
• 環境音を収録するマイク
• Gopro全天球カメラ+ 非同期マイクアレイ

収録したコンテンツはSDMによる魅力的なコンテンツ制作のイメージを提示するためのデモ素材としてまとめる一方、実際にこのコンテンツを使った制作に利用できるよう、メタデータ等を付与の上整備し、データベースとして利用できるようにしていきます。

本研究の詳細は、2016年9月29日（木）からラスベガスで開催される第141回 Audio Engineering Society （AES）コンベンションにて発表します。

5．用語解説：

（注1）超臨場SDM方式： インターネットを前提としたインタラクティブメディアのためのデータフォーマットで、空間に存在する収録対象を3次元モデルとして解釈して、複数の視聴オブジェクトに分解して記録する。またカメラやマイクなどの入力設備を抽象化して、自由度の高いアプリケーション利用やコンテンツ制作を目指す。またデータ構造自体に2次利用を前提とした階層構造を特徴とする。

（注2）Software Defined Mediaコンソーシアム： 2014年より、東京大学大学院情報理工学系研究科、慶應義塾大学大学院メディアデザイン研究科、 ヤマハ株式会社、日本電信電話株式会社、株式会社KDDI研究所、パナソニック株式会社、ドルビージャパン株式会社、株式会社バンダイナムコスタジオ、株式会社 竹中工務店などのメンバーが集まり、オブジェクト志向のディジタルメディアと、ネイティブ・ディジタルなインターネット環境が前提の映像・音響空間を用いたビジネス創造を目指し、研究開発を進めてきました。( https://sdm.wide.ad.jp)

（注3）WIDEプロジェクト： 1988年に設立されたインターネット技術に関して実践的に研究を行うプロジェクトであり、産学の連携を重視してインターネットの発展に寄与してきました。現在、東京大学大学院情報理工学系研究科 教授 江崎浩が代表を務めます。( https://www.wide.ad.jp/ )

（注4）慶應義塾大学 コレギウム ムジクム古楽アカデミー： 16～18世紀にかけてドイツを中心に存在したコレギウム・ムジクムと呼ばれる音楽同業者組合や音楽愛好団体にちなみ、慶應義塾コレギウム・ムジクムは2001年に授業の一環として創始されました。古楽器を用いたアンサンブルである古楽アカデミーは、2010年にその活動を開始し、2012年には正式な授業となりました。20人程度からなるメンバーで、バロックオーケストラおよび室内楽アンサンブルの両面からバロック音楽に取り組んでいます。一般大学において、本格的な古楽アンサンブルを正規授業として行う例は世界でも極めて希有であり、慶應義塾発の新しい文化発信、芸術教育を目指しています。（http://www.musicology.hc.keio.ac.jp/collegium.html）

6．添付資料：