Geminiに音楽生成機能。言葉や写真・動画から楽曲生成

Googleは2月19日、Google DeepMind の音楽生成モデル「Lyria 3」をGeminiアプリに搭載し、音楽生成機能のベータ版を日本でも順次展開すると発表した。アイデアを説明したり、写真をアップロードするだけで、「Geminiが数秒でハイクオリティーでキャッチーな楽曲を生成する」という。

Lyria 3は、前バージョンから3つの点でオーディオ生成機能が向上。プロンプトに基づいて歌詞を自動で生成する「歌詞の自動生成」、スタイル、ボーカル、テンポなど、希望する要素をより詳細にコントロールできる「クリエイティブなコントロールの強化」、よりリアルで、音楽的に豊かな楽曲を作成できるという「リアリティと複雑性の向上」が行なわれている。

使用方法は「テキストから楽曲を作成」と「写真や動画から楽曲を作成」のふたつ。テキストからの楽曲作成では特定のジャンル、ムード、冗談や思い出などを説明して、雰囲気に合った歌詞付きの楽曲やインストを作成できる。

写真・動画からの楽曲作成では、写真や動画をアップロードすると、Geminiがその内容をもとに、雰囲気に合った歌詞付きの楽曲を構成する。

Geminiアプリでは、画像生成AI「Nano Banana」で生成されたカスタム・カバーアート付きの30秒の楽曲を作成できる。楽曲は、ダウンロードや共有リンクなどで簡単にシェアできる。

同アプリで制裁されたすべての楽曲には、GoogleのAI生成コンテンツ識別用として、知覚不能な電子透かし「SynthID」が埋め込まれる。またAIコンテンツの識別を支援するツールとして、Geminiアプリにおける検証機能を音声にも拡大。ファイルをアップロードして「Google AIで生成されたものか」を尋ねると、Gemin がSynthIDを確認し、独自の推論を用いて回答する。

なお、Googleは「Lyriaでの音楽生成の目的は、音楽の傑作を作ることではなく、自分自身を表現するための楽しくユニークな方法を提供すること」と説明。2023年に初めてLyriaを発表して以来、音楽コミュニティと連携してきたと説明。これまでの実験やコラボレーションで得た知見を生かし「Lyria 3 のトレーニングにあたっては、著作権やパートナーとの合意に細心の注意を払ってきた」としている。

また「Lyria 3による音楽生成は、既存のアーティストの模倣ではなく、オリジナルの表現を目的として設計されている。プロンプトに特定のアーティスト名が含まれる場合、Gemini はそれをクリエイティブなインスピレーションとして広義に捉え、似たスタイルや雰囲気を持つ楽曲を作成する。また、既存のコンテンツと出力を照合するフィルタも導入している」とのこと。