“AIに編集させる”動画ツール「Palmier Pro」を試す

フリーで使えるAI編集ツール登場

映像編集にAIを持ち込むというのは、Adobe PremiereやBMD DaVinci Resolveがそれぞれのアプローチで進めている。どちらも操作の主体は人間だが、機能単位でAIが組み込まれており、あちこちにAIの入口があるといった実装になっている。

一方で汎用の動画生成AIは、素材は作れても編集はできないので、結局は動画生成AIでできた素材を人間が編集ツールに持ち込んで編集することになる。

そうした不便を解消する編集ツールが登場した。現在GitHubでオープンソースとして公開されている「Palmier Pro」だ。

編集ツール内から動画生成AIが呼び出せるほか、タイムライン自体をAIエージェントに公開することで、エージェンティックAIから動画編集の指示ができる。またここで完成したタイムラインは、PremiereやDaVinci Resolve形式のタイムラインとして出力でき、フィニッシュはそちらで行なうといったこともできる。

対応するのはmacOS 26/Apple Siliconで、ツールの利用自体は無料だが、生成AIを使用する時だけ課金される。執筆時点での最新バージョンは0.6.12だ。まだ完成形ではないと思われるが、すでにかなりの部分は動いている。今回はPalmier Proがどういった操作方法になるのか、ざっくりテストしてみた。

単体でもAI編集できる

新規プロジェクトを作成してPalmier Proを起動すると、一般的な動画編集画面に近いUIが現れる。特徴的なのは、左側全体にAI用のプロンプトパネルがあるところだ。 プロンプト欄には、あらかじめよく使う指示がプリセットされている。例えば字幕(キャプション)を作ってとか、タイムラインに合わせて音楽を作ってといったものだ。

上半分には素材の置き場、モニター画面、プロパティ欄があり、下半分がタイムラインになる。動画編集としてはオーソドックスな作りだが、トランジションや画面に対するエフェクトの選択画面がない。これらは動画生成AIに指示してやらせるといった格好だ。

素材を読み込んでタイムラインにそのまま配置してみた。また特に指示もしていないが、音声の無音部分がピンク色に着色されている。タイムラインに読み込んだ時点である程度の解析を行なうようだ。

タイムラインにクリップを配置したところ

Palmier Pro単体でもAIを使った編集は可能だが、外部のエージェンティックAIを連携できるところが売りなので、先にそのあたりを設定する。

AIに操作させるには、操作されるソフトウェア側がMCPというAIの入口を公開する必要がある。Palmier Proにもこの機能が組み込まれており、設定メニューの「Tools & MCPs」から設定する。MCPの動作には仲介するサーバが必要なので、Palmier Proをインストールしている自機をサーバにするのが手っ取り早い。

MCPサーバを立ち上げ、外部のAIと接続する

接続先としては、AIコードエディタのCursorや、Claude Desktop、Claude Code、Codexはインストーラが内蔵されているので、ボタン一発で設定できる。筆者は普段からCursorを使っているので、これを選択した。動作させているマシンはMacBook Neoである。

動画素材は筆者が西田宗千佳氏と共同で発行しているメールマガジンのnote用動画コンテンツだ。基本的にはモノローグのしゃべりなので、編集とはいっても間を詰めるだけである。せっかく無音部分を検出しているので、まずはそこの削除をお願いしてみた。

Palmier Proのコマンドパレットは日本語にも対応している。ただし漢字変換を確定するためにEnterキーを押すとそのままAIに送られてしまうという、日本語対応あるある状態になっているので、長いコマンドは別途テキストエディタなどに入力してから貼り付けたほうが無難である。

無音部分をカットしてもらった

カットしてもらった結果がこれだ。若干切りすぎの箇所もあるが、概ね想定通りにカットされている。

ついでに「えー」とか「えっと」とか、いわゆるフィラーワードのカットもお願いしてみた。フィラーワードのカットは、すでにPremiereやDaVinci Resolveでは実現できている機能だ。

こちらは3箇所カットしたと言われたが、どこがカットされたのかよくわからないほどたくさん残っている。日本語のフィラーワードの検出はあまりうまくなさそうなので、自分でカットした。

3箇所をカットしたと言うが、まだかなり残っている

フィラー部分の切り出しと削除はやったが、タイムラインが隙間だらけになったので、ギャップ部分を詰める必要がある。

WindowsではDeleteとBackSpaceが別のキーになっているので、多くのソフトはBackSpaceが単純な削除、Deleteでリップル削除になる。一方MacにはDeleteキーがないが、Shift+BackSpaceでリップル削除になるようだ。

ただ今回は場所が多いので、こうした面倒な作業はAIに依頼するのが楽だ。MCPで連携しているCursorにまとめてギャップ削除を依頼すると、2分ぐらいで作業が完了した。

手は動かしてないので楽ではあるが、この程度の作業であれば人間がやった方が早い。もっと手間のかかる作業なら効果が出るだろう。

時間のかかる作業をAIで

時間がかかる作業としては、カラーグレーディングがある。すでに編集して、タイムライン上で細切れになったクリップは、それぞれ1つずつ設定しなければならないため、手間がかかる作業だ。

そこでAIにカラーグレーディングをお願いすることにした。Palmier Proでは、「スキル」と呼ばれる機能を外部のエージェンティックAIにインストールすることができる。今回はCursorにカラーグレーディングのスキルをインストールした。

特殊機能は「スキル」という形で提供される

カラーグレーディングのスキルをCursorに追加

シネマトーンに調整するよう依頼したところ、3分ぐらいで9カットのグレーディングが完了した。肌色を保ちつつ、フィルム調のコントラスト、暖色ハイライト、青緑のシャドウを加え、黒つぶれも抑えているそうである。

Cursorでグレーディングの指示を出すと、 結果がPalmier Pro側に反映される

DaVinci Resolveでは、1つのカットのグレーディング効果を他のカットにペーストする機能があるので、手動で作業してもだいたい同じぐらいの時間で作業ができるものと予想するが、「文章で伝えただけでだいたいいい感じにしてくれる」というのは、カラーグレーディングに慣れていない人には嬉しい機能だろう。

そのほか手がかかる作業としては、字幕入れ作業がある。昨今AIで効率化された、最たるものだ。これがない時代は、音声を聞き取って文字を入力し、それをタイミングに合わせて1枚ずつクリップに貼り付けていく必要があり、テレビ番組以外ではほとんどやられてこなかった。

PremiereもDaVinci Resolveも、まずは編集のための文字起こし作業があり、その後のプロセスとして字幕入れの機能が実装されている。一方Palmier Proでは、プロンプト一発で字幕入れができる。

ただ最初に仮でテロップを入れてみて、フォーマットだけは決めておいた方がいいだろう。設定としては、言語のほか、ボーダーやドロップシャドウ、フォントなどが指定できる。

テロップ入れの前に、テロップのフォーマットを決めておく

今回は18秒程度のタイムラインだが、字幕入れはあっという間に終了した。漢字の誤変換や、言葉尻が切れてしまっている箇所もあるため細かい修正は必要だが、タイミングなどは合っている。ベーシックな字幕トラックを作るには十分だろう。動画サンプルは、修正なしの状態をご覧いただいている。

音声は1トラックだが、Lchがラベリアマイク、Rchがカメラマイクになっている。通常はLchだけを使用してセンターに配置している。

これをAIに依頼してみたが、まだその機能は実装されていないということだった。Palmier Pro側での対応が必要なようだ。

音声トラックを整理したかったが、まだその機能はないようだ

AIに生成させてみる

これまでは映像素材の加工を行なってきたが、今度は何もない状態からAIで生成する作業に移る。手始めに、音楽を生成させてみた。最初にログインした際にはいくらかのクレジットが無料でついてくるが、色々実験している間に使い果たしてしまったので、生成クレジットを購入してみた。

5,000クレジットが使えるPro Planは、1カ月8,274円(通常49ドル)のところ、20ドルディスカウントされた29ドル＝4,897円で使用できる。なお公式には12,000クレジットのMaxプラン(通常99ドル/キャンペーン69ドル)のほか、従量制のカスタムプランもある。ここで購入したクレジットは、Palmier Pro内のプロンプトで動作させた際に使用されるものだ。

とりあえずPro Planを導入

今回は実験のためにPro Planに課金したが、外部エージェンティックAIから使用した場合は、そちら側のクレジットが消費される。すでに外部AIで課金しているかたは、Palmier Pro側でも課金するともったいないので、どう使うのがいいかよく検討していただきたい。

まずは音楽を生成させてみた。生成に使えるAIは、自分で選択できる。Palmier Pro側のコマンドパネルには音楽生成用のコマンドがプリセットされているので、それをそのまま使ってみる。

オーディオ用で使える生成AI

およそ3分程度で音楽が生成された。ちゃんと全尺ぴったりになったものだ。音量レベルが100％で生成されてくるので、自分でレベル調整する必要がある。

動画生成AIの用途として、Adobeでも早くから導入が検討されてきたのが、「Bロール生成」だ。Bロールとは、本編のストーリーに加えるちょっとしたイメージカットで、日本ではインサートカットと言った方が通じやすいだろう。

動画で使えるAI。上記2つはデフォルトでONになっているが、それ以外は登録が必要

Palmier Proのコマンドパネルにはこれもプリセットされているので、使ってみた。プリセットコマンドは英語で書かれているので、ユーザーへの反応も英語で返ってくる。実際の生成前には、こんな感じのやつを生成しますけどいいですか? 的な問い合わせがあるので、「OK」とか「はい」とか答えると、実際にクレジットを消費して生成が始まる。再生ポイントのところにある内容を読み取って、それに合わせたものを生成してくれる。

ただ生成AI側が混んでいると、途中で放置された感じになってしまうので、今どんな感じですか的な問い合わせをすると、先へ進む。今回はランドリーのアップの画像を挿入してくれたが、音もついていたので自動的にミュートしてくれた。

BロールをAIに生成させた

これまでは別AIツールで生成されたものをダウンロードして、編集ソフトのタイムラインに貼る必要があったが、Palmier Proでは生成したものが直接タイムラインの上のレイヤーに貼られる。生成する長さもクリップの長さにぴったり合わせてあるが、クリップの前後をちょっと引っ張って伸ばすみたいな操作にも対応する。

あいにく字幕の上に貼られてしまったので、手動で字幕をもっと上のレイヤーに移す必要があった。

次はオープニングである。今度はCursorから、5秒間のタイトルテロップを生成させ、音楽も追加してみた。そのままだと本編の同じ音楽の短い版を付けてきたので、本編とは違う感じの音楽をリクエストし直した。

タイトルのみのオープニングを追加

出来上がったタイムラインは、各種フォーマットに動画出力できるほか、PremiereやDaVinci Resolve形式のタイムラインとしても出力できる。DaVinci Resolve形式は、最新はバージョン1.4というフォーマットだったが、最新のDaVinci Resolve 21ではなぜか1.4が読めず、1.3形式で読み込ませることができた。

外部ツールへタイムライン形式での書き出しができる

最終的にPremiereやDaVinci Resolve用に出力できる理由は、まだPalmier Pro側に効果などが揃っていないことや、配信サービスに合わせた出力プリセットなどはこれらのツールのほうが揃っているからだろう。

総論

Palmier Proを使ってみて、動画編集という作業に対して、どのようなものをAIに任せると効果的なのかがわかった気がする。

無音部分を詰めるみたいな単純作業は可能だが、実際の編集はブロックの組み替えなどを行なうため、ベーストラックの編集に関しては、あまりAIの出番はないようだ。

韓国のAI動画編集ツール「Vrew」が始めたように、一旦しゃべりをテキストに起こし、テキストを編集すると動画もそれと同じように編集されるみたいな方法論は他の編集ツールにも派生しているが、Palmier Proは文字起こしの状態が提供されないので、そうした方向にない。

強みがあるところは、AIにカラーグレーディングを指示できるところだろう。色味という漠然としたものを扱うにはそれなりに知識が必要だが、自由言語で指示できるのは大きなポイントになりうる。またBロールを指定すると、タイムライン上に直接生成されるのも、ツールをあれこれ切り替える手間がない。

ただ、レギュラー番組とか、きちんとしたフォーマットがあるコンテンツに対して、AIに指示していくというのはあまり向いていない。細かく指示すればするほどどんどんズレていくみたいなことが起こる。

むしろ理想やアイデアがあまりカッチリ決まっておらず、AIが作ったものに対して「まあこれでもいいか」と許容できるようなコンテンツなら、かなり効率化できる。要するに、AIのやり直しが増えるほど、効率が悪くなるわけだ。

動画編集は、撮影した素材以上のものが使えないため、編集に多くのテクニックが必要になる。一方AIで画像生成できれば、撮影していないカットも利用可能になるので、編集の制約がかなりなくなってくる。

こうしたツールの進化によって、動画編集の考え方も少しずつ変わっていくのだろう。