• ご紹介に預かりましたクリプトン・フューチャー・メディアの笹原と申します。5Gの時代、まだかまだかと待ちわびていてインターネットにどっぷりと札幌に所在する会社でございます。よろしくお願いいたします。着席のうえで説明させていただきます。簡単に自己紹介ですけども、弊社に最近グループの改編がございまして、

  • 社内に新規事業部、新規のビジネスを開拓する事業部ができまして、そこで全体を見させていただいております。クリプトンとは何かというところを、あらかじめ、ご存じない方もいらっしゃると思いますので、弊社の事業概要を説明させていただきます。

  • まず、クリプトン20周年を迎えておりまして、最近、21周年になったのですが、当初のビジネスとしては、効果音ですとか、DTMで使うようなソフト音源を海外から輸入をして、それを日本で販売するというビジネスを展開していました。こういうノックする音ですとか、水の流れる音ですとか、ありとあらゆる音楽コンテンツをそれこそ放送業界、映画業界で販売してきました。

  • その中で、弊社の一押しアイテムですけどボーカロイドを使った歌声合成の技術を使ったバーチャルシンガー。そのソフトウエアの開発を始めました。代表的なものとしては初音ミクというキャラクターを使ったソフトウエアです。

  • 併せて下に記載しておりますが、DAWですね、エイブルトンライブとかプロツールですとかそういった類いのDAWのソフトウエアも併せて開発しておりまして、ボーカロイドを走らせるためのプラットホームというのも開発しております。

  • こういったソフトウエアに対して、キャラクターをつけたことによって、キャラクターの人気も出てきまして、キャラクターのイラストを描く方が出てきたりですとか動画を作るような方が出てきたりですとか、ボーカロイドのソフトウエアを使って自分でクリエーターになってニコニコ動画に動画をアップしたり、自分の創作物をアップするような現象が生まれてきたというのがございます。弊社としても、そういった創作物を投稿できるようなサイト、プラットフォーム、

  • ピアプロというサイトを用意させていただきまして、そこでクリエーター同士が自由に交流して自分の創作物を皆さんに見てもらえるようなそういう環境を整えてまいりました。併せて、初音ミクを使ったライブもセガさんと一緒に展開をするようになったり、国内外で開催をして、

  • 最近ですと、全米、あとはカナダ、メキシコ、台湾などで展開しておりました。あとは日本のZeppツアーというものもやりましてミクエキスポと題したものも展開しておりました。

  • モバイルコンテンツ事業というのもありまして、ARのコンテンツ、VRのコンテンツですとか、あとはここの事業部で効果音の制作もしておりまして、最近ですとバンダイさんのアプリモンスターズという、「デジモン」の新しいコンテンツのおもちゃの効果音ですね。そういったものも制作しております。札幌で制作しております。

  • インターネットにどっぷりではあるんですけど、札幌・すすき野にあるノルベサという観覧車のあるビル、ご存じの方いらっしゃいますかね、そこの1階にカフェを展開していたり、IT業界で働かれている方とか、あとはクリエーターの方がリアルの場でつながれるようにカフェを展開して、DJイベントをやったりとか、あとは、アイデアソンとか、ハッカソンとかそういった催しを定期的に開催したりですとか、あとは物販を置いて、北海道で活躍されているようなものづくりをされている方の創作物を販売したりですとか、そういったことをしております。

  • 矢継ぎ早になりますが、新規事業が最近動かしているものが大きく3つありまして、その1つが、SONOCAという事業になります。こちらはスマホ用音楽カードと申しまして、手元にスマホ用音楽モバイルをSONOCAのフライヤーも置かせていただいておりますが、日々、クリエーターの方と一緒にお仕事をしていく中で、本当にCD売れないですねって。やっぱり、CDドライブのないデバイスが増えているというところと、

  • 私が使っているMacBookAirもCDドライブがなかったりですとか、CDを使わないような未来を想像しておりまして、ちょっと危惧感を持ちつつも、ものとして形に残るメディアというところでカード型で配信ができる。ダウンロード、もしくはストリーミングという形で、今後していくのですが、現状ダウンロードで、スマホに直接、曲をダウンロードしていただくと。

  • イベントですとかとそういったところで、このカードをもらって、すぐにその場でダウンロードできるという仕組みになっています。CDをいろんなイベントでもらっても、すぐに聴けないっていうのがありまして、家に帰ってパソコンを立ち上げてリッピングしたりですとか、そういった手間が発生するので今後、こういったフィジカルなメディアっていうのが必要になってくるというところで種まきをしているところです。

  • 本題にまいる前に、次、新規事業の一つとして、APSというサービスをやっております。オーディオ・プロセッシング・サービスです。特に放送業界の方、あと映画業界の方の知っていただきたいんですけど、最近の映像コンテンツは音声はBGMとか効果音とかせりふとかがマルチトラックになっている、分かれてデータ保存されていると思いますが、昔の映像コンテンツで一つのオーディオファイルの中に

  • BGMとか効果音、せりふが混在した状態で保存されているというケースがございます。そういったコンテンツの世界に対して吹き替え版を作って展開したりですとか、特定のBGMがちょっと著作権の関係で使えなくなってしまったとか、そういった問題が発生したときに、このサービスを使っていただければ、

  • 特定のせりふですとか、効果音を抜き出して音楽を差し替えたり、効果音を差し替えたりとか、そういったことができます。なので、これを使っていただければ、新しいチャネルに対してコンテンツを展開できるというサービスを最近、始めております。市販にもボーカルだけ抜き出すような市販のソフトウエアなど売っているんですけど、ああいったたぐいの製品はどうしてもよく聴いてみると若干、なんていうんでしょうね、音の割れた音が聞こえたりとか、

  • クオリティーの面でまだまだなんとも、満足いけるものができなかったですけども、これであればかなりハイクオリティーな形でご提供できます。きょうはサンプル動画などがないので、ちょっと説明は省かせていただくのですが、やっと本題に行かせていただきます。手元にフライヤーもありますので、お時間あるとき、見ていただければと思います。

  • R3です。R3はリアルタイム・コントロール・システムという題名をつけてるんですけども、リアルタイムで3Dを動かすっていう意味でR3っていってるんですけど、初音ミクを弊社、コンテンツ持ってるんですがそれをリアルタイムで音楽に同期させてショービジネスをしていくために作ったシステムになってます。清水さんからもご紹介いただいたんですけど、「イーハトーヴ交響曲」という

  • 冨田勲さんと、先日、お亡くなりになったんですが「イーハトーヴ交響曲」という事例がございまして、実際に見ていただくのが一番早いかなと思いますので、お見せいたします。(映像を見ています)

  • この事例はオーケストラに対して初音ミクをリアルタイムで同期させていく。一番といいますか、初めての事例が「イーハトーヴ交響曲」です。(映像を見ています)

  • 後ほど詳しく説明させていただくんですけど、オーケストラの脇にオペレーターが1人おりまして指揮者の手元を見ながら右の信号をPPMに合わせてコントロールしておりまして、それで3DCG初音ミクをリアルタイムに動かして、歌声も同時にリアルタイムでコントロールしております。(映像を見ています)

  • 今の事例を見ていただいて、なんとなく想像いただけたのかなと思いますが詳しく説明させていただきます。

  • このR3のシステムを開発した背景としましては、弊社が音で発想するチームという形でコーポレートブランドを持っていまして、何事も音を中心として考えるというスローガンのもとビジネスを展開しております。

  • そのときに初音ミクを実際に動かすときに映像を音楽に合わせる。通常ですと、映像に対して音楽を合わせるというやり方で映像と音楽を同期させるときにすると思うんですけども、われわれとしては、主人公は音楽。あくまで音楽を主軸にして、映像を音楽に合わせるという哲学で映像制作をしております。

  • 拍に対して、3DCGをクォンタイズさせていくということで遅延をなくすという発想のもと映像制作をしております。細かい機能について説明させていただきます。まずモーションキャプチャー同期トリガーシステム。ちょっと小難しいことを言っているんですけども、通常、モーションキャプチャー取るときは左上のキャラクターの骨になる部分のキャプチャーをとりつつ、

  • 実際のアクターさん、ダンサーさんの映像を撮るっていう形で、通常はキャプチャーをとるんですけども弊社の場合は、モーションをとりながらもキャラクターですね。キャラクターも当てはめた形で録画しておりまして、音楽が始まったタイミングでMIDI信号を発信して録画を始めるという形で

  • リファレンス動画をリアルタイムで作って後日の編集に役立てる。スピーディーな編集が可能という、内側のシステムなんですけども、そういった機能も一つあります。次、ボーン直叩きMIDI制御とありますが、キャラクターの骨になる部分を直接、MIDIで制御をしておりまして、DAW上からMIDI信号を出して

  • リアルタイムに3DCGをコントロールするというR3の根幹になる機能。これが、ボーン直叩きMIDI制御と呼んでおります。併せて、MIDI信号で表情をコントロールすることもリアルタイムにできまして、例えば、お客さんが盛り上がったタイミングで笑わせたりですとか、ほかには悲しい顔をさせたりですとか、動きだけじゃなくて、表情に対してもリアルタイムで3DCGをコントロールしようという形で開発をしております。

  • 次、モーションスイッチですね。一つ一つのモーションをランダムで出していくことができるんですけれども、モーションとモーションのつなぎ目ですね。キャラクターがかくっと動かないようにスムーズな形で制御して、次のモーションで動くというのをやっております。

  • ちょっと矢継ぎ早になるんですけどもカメラワーク。カメラにセンサーをつけて、カメラの位置によって3DCGの向きも変えていくっていうような制御もひとつのメニューとしてもっておりまして、事例をお見せしたいと思います。BUMP OF CHICKENさんのミュージックビデオで。広告出ちゃうんですけども、「ray」という曲で展開させていただきました。

  • (映像を見ています)このケースは映像自体はあらかじめ録画しておいたものを流してるんですけど、

  • カメラの向きに合わせて映像の角度も変えるということですね、先ほどご説明したカメラワークを実際に使った事例です。(映像を見ています)この映像の周り、円形にレールを走らせていまして、カメラを動かしております。カメラにセンサーをつけていって、3DCGを呼応@している事例になります。(映像を見ています)

  • こちらがカメラワークの事例でした。ほかに機能、何個かございますので説明させていただきます。モーションレゾネーターという機能がございまして、先日、東京ビックサイトで弊社の展示を行わせていただきまして、

  • R3の新機能としてモーションレゾネーターというのを中心に説明をさせていただいたんですけども、一つの動きに対して強弱を与えることができます。例えば、手を振っている動作をまず、ミニマムは小さいんですけど、最大化したりですとか、一つの動きに対して強弱をリアルタイムで与えるという制御も今、開発をしていてまだ現場での実績はないんですけれども、他社さんにいろいろとお問い合わせいただいておりまして、今後、現場で使われることも近い未来あるんじゃないかなというふうに考えております。

  • 次に、パーツ割込みですね。こちらは、ダンスをしている中にある特定のモーションを割込ませるっていう、そういった制御でして、例えば、横にステップを踏んでいる中に例えば、手だけ振らせたりですとか、そういうインタラクティブな形でお客さんの反応を見ながら手を振った動作を割り込ませたりとか、首を振ったような動作を割り込ませたりとか、そういったものをリアルタイムで制御してあげる、追加してあげる、そういったシステムになっております。

  • 次に、リアルタイムオプティミゼーション。横文字でかっこいいように記載しているんですけれども、つまりどういうことかといいますと、

  • 与えられたスクリーンの大きさ、環境に最適化した形で3DCGを映し出す。例えば、スクリーンからはみ出ないようにですとか、3DCGがスクリーンの中で適切に動いてもらえるように制御しております。一つ、メニューの中でコンサートシステムというのを入れておりまして、これ、どういうことかといいますと先ほどから説明しているような機能を統合して、

  • 特定の企業様に最適なコンサートシステムをご提案しますよというメニューとなっておりまして、オペレーター、プロジェクション、すべてを弊社でやるというのが今後の展開として、メニューとしてやっております。

  • 次に、ホットなネタですけれども、「題名のない音楽会」っていう番組で、使用させていただいた機能なんですけども、オーケストラの舞台にARのマーカーを置きまして、後日の放送の段階でこのARをもとに、3DCGを合成した形で放送するというシステムなんですけど、

  • 同期の作業が簡単なので、納期の短いような、すぐに放送しなきゃいけないような案件にも、これで対応させるというのと、もう一つは実際には実施しなかったんですけれども、検証だけした案件なんですが、お客さんにスマートフォンを持っていただいて、収録中にARマーカーに対してスマホを向けるとオーケストラと一緒にミクが踊っていたり、リアルタイムに踊っている様子を見ながら、「ポケモンGO」じゃないんですけど、AR的に楽しめるということを考えております。

  • これ、まだ現場での実績はないんですけど、検証は済んでおりますので、今後、いろんな企業さんと共用してやっていきたいと考えております。透過フィルムですね、3DCGを映し出すフィルムについても弊社で開発しておりまして、案件に応じて大きさを変えたり、条件に合わせていろんなフィルムの使い方が弊社でコントロールできるので、

  • システム、コンサートを丸ごと弊社で受け持つことができます。実際に、R3システムどうやってオペレートしてるんだろうと、すごくよく聞かれるんですけども、ちょっと動画をお見せしたいと思います。(映像を見ています)

  • 手元にMIDIのコントローラー置いておりまして、指揮者の手の振りを見ながらオペレーターが右のパットをたたいていくんですね。PPMを整えてあげて3DCGをリアルタイムでコントロールしていく。音楽に同期させて映像を映し出す作業をしております。

  • ちょっと分かりづらかったところを、もう一回。ここで、指揮者の動きに合わせてパットをたたいていく。そうすることで、モーション、あとは歌ですね。歌声、これもスピードをコントロールしてオーケストラに対して同期させていくと。オーケストラっていうのはとても揺れの強い音楽で指揮者の動きによって、だいぶ、そのときそのときの公演がだいぶスピード感が違ったりとか

  • 若干、あったりするんですけどもそういった環境下でも3DCGをしっかりと同期させてあげるということができます。R3次回の公演なんですけど先日、残念ながらお亡くなりになってしまったんですが、冨田勲さんが関わっておりまして、すでに冨田勲さんのアイデアはすべて出されて指示が出ている状態だったので、亡くなった時点で。せっかくなので、追悼公演という形でやろうという関係各位の方の意思もございまして、

  • 「Dr. Coppelius」っていう公演、やらせていただきます。オーチャードホールでやります。11月11日です。まだチケットも販売中なので、もしご興味ある方いらっしゃいましたらぜひ、チェックしてみてください。

  • 今度の展開についてなんですけれども、今まで初音ミク、弊社のキャラクターを使った展開だけだったんですけども、これを弊社だけじゃなくていろんな他社さんのコンテンツで転用させていくと。ピカチュウでもいいですし、いっていいか分からないですけど、ピカチュウって名前出してもいいですよね。問題ないですよね。別に提案はしてないんですけど、いろんなキャラクターに対してこのR3のシステムを使っていただいて、ショービジネスの展開をしていきたいと考えております。

  • オーケストラとR3ですね。これは実例が「イーハトーヴ交響曲」ですとか、こういった場面で使っておりまして、先ほど見せた生バンドとの連動ですとか、あとは、DJですね。DJとR3を使ったような組み合わせでショービジネスを展開したり、ミュージカルの音に合わせてCG、3DCGのキャラクターも出演させるような展開ですとか、

  • 演劇ですね、演者に対してリアルタイムでR3システムを使って3DCGを出演させるような仕組みですとか、今までなかったようなキャラクターとリアルなものをつなげるときに、つなげてショービジネスを組み立てていくときにR3システムというものをぜひ一つのツールとして考えていただければ幸いです。

  • そのほかあらゆるショービジネス、いろんなアイデアしだいで応用可能だと思います。ちょっと弊社で想定していないようなアイデアなども恐らく皆様、もしかしたらお持ちかもしれないので、もし、その際はぜひご相談いただけるとうれしく思います。

  • もし、お問い合わせ等ございましたらこちら、笹原のアドレスなので、こちらにご連絡いただければお返しさせていただきます。今、ちょっといろんな会社さんから問い合わせがあって、すぐにお返しできるか分からないのですけど、しっかりと対応させていただきますのでよろしくお願いいたします。矢継ぎ早になりましたが、以上とさせていただきます。ありがとうございました。