小寺信良の週刊 Electric Zooma!

第836回

Zooma!:ズームレンズ、ズームすること、ズームする人、ズズーンの造語

iPhoneだけでカッコイイ画面分割演奏動画が撮れる!? ローランド「4XCAMERA」

CES2018発表のマルチトラックアプリ

 毎年CESでは数多くの製品が発表される。電子楽器メーカーのローランドも昨年はエントリー向けの楽器や簡易ミキサーを展示したが、今年はハードウェア2つ、アプリ2つを発表した。ハードウェアの発売はまだ先だが、ソフトウェア2つは発表と同時にダウンロードできるようになった。このうち、iPhoneユーザーむけのユニークなアプリが、「4XCAMERA」である。

「4XCAMERA」で作成した画面分割演奏動画

 「多重録音」という言葉を知っている人はもはや少なくなってしまったと思うが、DTMやDAWの機能といえばピンと来る人も多いだろう。一人で色々なパートを演奏して重ねて行き、最終的には数人で演奏しているのと同じ効果を出すという録音手法だ。iPhoneやiPad向けにも良いアプリが沢山あるが、「4XCAMERA」は動画を使って多重録音をやるというアプリである。

 名前の通り、4つの動画を1つにまとめて、1つの音楽を作るためのアプリである。楽器と歌手とか、1つの楽器でも別のアングルからの映像などを、1画面に収めた動画が作れる。無償版では2つの動画が扱えるのみだが、480円払ってアップグレードすると、4つの動画が扱えるようになる。

最高で4つの動画が扱える

 昨今の自撮りブームは、静止画だけでなく、音楽に合わせて踊る様子を動画で撮影し、それを見せ合うようなコミュニケーションに成長しつつある。またカメラアプリも、美肌だけでなく、顔認識と組み合わせてリアルタイムに動くエフェクトをかけてくれるものも人気だ。そんな中、楽器ができる人が気軽に一芸を披露できるアプリとして、人気が出そうだ。

 今回はこのアプリをテストしてみよう。

4XCAMERAの仕組み

 4XCAMERAは、まだリリースしたてということもあり、機能的にもシンプルだ。まずは2つの動画を重ねるところまで説明しよう。

 起動するとカメラ画面になるので、まずはガイド兼用の1つ目の動画を撮影する。録画が完了したら、次は2つ目だ。画面内の四角が2つ重なったアイコンをタップすると、音符マークとフィルムマークが出てくる。フィルムマークをタップして、先に録画した動画ファイルを選択する。

 カメラ画面に戻って録画を開始すると、先ほど撮影した動画の音声だけがスピーカーもしくはイヤフォンから再生されるので、それに合わせて2つ目の動画を撮影する。

先に取った動画や音楽ファイルをガイドに重ね録りしていく

 次にカメラ画面の田の字のアイコンをタップすると、動画の結合画面になる。どういうタイプの画面割にするかを選択すると、動画の選択画面に移る。2画面であれば、2つの動画を選択するわけだ。

画面配置パターンを選択したのち、各エリアに動画を割り当てていく

 あとはプレビューで結合の具合を確認する。このとき、先頭や末尾のトリミング、オーディオのバランス、画面位置の調整ができるようになっている。うまく調整できたら、最後に1本の動画として書き出しである。基本的にはこれでマルチカメラで撮影したような動画が完成する。

各トラックの音量バランスも決められる

あれ? 音楽にならないぞ……

 では早速、と思って音楽を演奏してみたのだが、どうもおかしい。最初のトラックと合わせて次を弾いても、微妙にタイミングがズレるのだ。編集機能のトリミングを使って、各トラックのズレを修正できるのかと思ったのだが、どうも違うようだ。トリミング機能は、いずれかのトラックの先頭を削ると、他のトラックも自動的に同じ分だけ削られる。

 つまり各トラックは、録画スタートの位置でロックされてしまい、タイミングをずらすことができない。しかし、ちゃんと最初のトラックを聞きながら演奏したのに、タイミングがズレる事には何らかの理由があるはずだ。

トリミングはスタート地点が同時に変わるだけで、各トラックのタイミングはずらせな

 もっとも考えられるのは、モニター音がディレイしているのではないかという事である。そこでいくつか考えられるケースでテストしてみた。

 筆者が使用のiPhoneは7 Plusなので、アナログのイヤフォン端子が無い。したがってiPhone付属のLightning to アナログ変換ケーブルを使って、有線のイヤフォンに接続している。この段階でモニター音がディレイしているのではないかという推測の元に、コップを叩いて測定してみた。

 最初のトラックをガイドに、まったく同じリズム叩いてみたところ、かなりのズレがあることがわかった。動画編集ソフトに読み込ませてアタック間を計測したところ、5フレームぐらいズレるようである。これは、最初の動画の音を聞きながら2回目を録画している際に、動画の再生音が変換ケーブルのDAコンバータのところで5フレームディレイしているという事だろう。

Lightning to アナログケーブルを使ってモニターすると、ズレが生じる

 これでは最初に録音したトラックと合わせることができない。もしかしたらディレイしないモニター方法があるのではないか。Rolandが公開しているプロモーション動画をよく見ると、Apple純正のイヤフォンを使っているように見える。そこでiPhone 7 Plus付属の純正イヤホンを接続してみた。ライトニングケーブルに直接接続できるタイプのものである。

 これを使ってモニタリングしながら、同じように叩いてみたところ、ズレは1フレーム程度にまで減少した。Lightning端子からはアナログ信号は出せないはずなので、このイヤホンも内部でDA変換しているはずである。だがアナログアダプタよりも機能的にシンプルなのか、ディレイ量が少ない事がわかった。

Lightning直結イヤフォンを使うと、かなりズレが抑えられる

 ただそうはいっても、ジャストなタイミングで音楽を重ねるためには、1フレームのズレもあんまり気持ちよくはない。もしかしてアナログ端子搭載のモデルであれば、ディレイなしで重ねられるかもしれない。

 手元には12.9型のiPad Proがある。これにはアナログのイヤフォン端子があるので、これで試してみた。しかしアナログ端子を使っても、やはり1フレームのズレは発生する。最低限、1フレームのズレはどうしても発生してしまうようだ。もちろん、Bluetoothイヤフォンは元々ディレイが大きいことはわかっているので、ここでは論外である。

アナログ端子のあるiPadでテストしたが、やはりズレはゼロにはならない

 音楽を作るのであれば、やり方をよく考えないと、音を重ねて行くうちにズレが大きくなる。例えばトラック1を聞きながら、2を、2を聞きながら3を……といった具合に重ねて行くと、トラック1と4は最大で3フレームぶんズレることになる。これでは音楽がまともに成立しなくなる可能性が出てくる。

直前に録音したものをガイドにして純に録音すると、だんだんズレが拡大する

 これを解決するためには、ガイドとなるトラックを最初に録画し、残りの4パートはそれに合わせて演奏する。そしてガイドトラック以外の4パートを1つにミックスすれば、ガイドからはすべてのトラックが均等に1フレーム遅れるが、4つのトラックは先頭がぴったり合うはずである。

ダミーのガイドトラックをベースに全部を演奏すると、各トラックの先頭は合うはず

ディレイを把握すればなんとかなる

 ではこの方法で実際に音楽を作ってみた。手軽にやろうと思えば、iPhone純正マイクに生音を録音して重ねて行くというのが一番簡単な方法である。だが、ここでまたどえらいことに気づいて頓挫することになる。

 iPhone純正のLightning端子イヤホンを使っていると、iPhoneのマイクが使われず、イヤホンに付いている通話用マイクで音を拾ってしまうのだ。楽器を録音するのに、それはあんまりである。

 ということは、ガイドから5フレーム遅れるが、やはりアナログ変換ケーブルを使ってモニターしiPhoneのマイクを生かすか、アナログ端子のあるiPhone 6以前やiPadを使うしかないという事になる。

 できないことをウダウダ言っても仕方がないので、今回はアナログ変換ケーブルを使って、ガイドトラックをモニタリングすることにした。ガイドトラックは、長い曲ともなればクリック音だけでは、曲がどこまで進んだのかよくわからない。クリック音とともに、全体が俯瞰できるパートを弾いてガイドにするしかないだろう。

 加えて、アナログ変換ケーブルからさらにマイクとイヤホンの分岐ケーブルを使い、iPhoneのマイクではなく外部マイクを使って集音してみた。やはり楽器や人の声は、オンマイクのほうがS/Nよく録れる。

 単にデモリールを作るだけならiPhoneのマイクでもいいかもしれないが、「作品」としてネットに公開するのであれば、ある程度こうした外部機材の接続もちゃんとやったほうがいいだろう。

簡単にできると言えばできるのだが……

 概ね上手くいったが、ガイドトラックに入っているクリック音がどういうわけか後で録音したトラックに混入する結果となった。イヤフォンでモニターしているので、マイクから入るはずはないのだが、どういう経由で混入したのか、今回は突き止めることができなかった。

総論

 簡単にトラックが重ねられて、生音を扱う音楽制作ツールとして便利だと思ったのだが、モニタリングのディレイ量など、思わぬ伏兵に苦戦することになった。

 ローランドが公開するデモリールでは、1人が4トラックをまとめた曲を友だちにおくって、それをガイドに別の人が音を重ねるといったイメージが描かれているが、この方法だと曲そのものをガイドトラックにしなければならない。しかしそれに合わせれば、当然演奏はディレイするはずである。あくまでもイメージを描いたものなのかもしれないが、原理的にできない状況をデモリールで表現すると、色々誤解を招くだろう。

Roland 4XCAMERA: Easily Create Split Screen Music Video Performance

 一番いいのは、トリミング機能のところに各トラックのタイミング調整機能を入れることだ。慣れていない人には収集が付かなくなる可能性もあるかもしれないが、こうした機能がないと、デモリールに描かれたようなことは現時点では実現できないはずである。

 またこのトリミング機能も、先頭をトリミングする時はサムネイルの絵が動くのだが、後ろをトリミングする時は絵が動かないので、トリミングするタイミングが掴めない。後ろのトリミングだけはバラバラの地点に設定できるのは、必要なくなったトラックを早く隠すためだろうが、とにかく絵が動かないので、どこまで使うべきかのガイドが全くなく、どうにもならない。ただ現時点ではまだバージョン1.0.1でしかないので、こうしたフィードバックを得て徐々に良くなっていくことだろう。

 用途としては音楽だけでなく、ダンスやパフォーマンスなど、一人何役といった動画制作ツールとしても使えるはずだ。4XCAMERAで録画した以外の動画も使えてしまうので、エフェクトが使える別のカメラツールで制作した動画を集めて、単純なマルチ画面制作ツールとしても使える。

 音楽以外にも使えるとなれば、アイデアは無限にあるはずだ。ぜひ皆さんのインスピレーションに期待したいところである。

小寺 信良

テレビ番組、CM、プロモーションビデオのテクニカルディレクターとして10数年のキャリアを持ち、「難しい話を簡単に、簡単な話を難しく」をモットーに、ビデオ・オーディオとコンテンツのフィールドで幅広く執筆を行なう。メールマガジン「金曜ランチビュッフェ」(http://yakan-hiko.com/kodera.html)も好評配信中。