ほぼテク8月5日最新情報アップデート！Metaの生成AI「AudioCraft」とGPTのコラボレーション？

AI生成AIChatGPTGPTMetaAudioCraftMusicGen

8月5日

著者裕太我妻

ほぼテク読者の皆様、いつも大変ありがとうございます！
我妻裕太です。

本日もよろしくお願いいたします。GPTに関する連続投稿約103日目です！
本日は最新情報アップデートです。

Metaの生成AI「AudioCraft」がオープンソース化されました！

今日はエキサイティングなニュースをお届けします！

AI技術の進化により、以前は夢だったようなことが現実のものとなっています。
その最新の一例として、音声生成AI「AudioCraft」のオープンソース化をご紹介します。

AudioCraftとは、ユーザーがテキスト入力を行うことで、高品質で現実的なオーディオや音楽を生成するシンプルなフレームワークです。
これにより、例えばプロのミュージシャンが楽器を一つも演奏することなく新しい作品を探求したり、インディーゲーム開発者が限られた予算で仮想世界に現実的なサウンドエフェクトや環境音を追加したり、小さなビジネスオーナーが最新のInstagram投稿に簡単にサウンドトラックを追加したりすることが可能になります。

AudioCraftは三つのモデル、MusicGen、AudioGen、そしてEnCodecから成り立っています。
MusicGenは、テキストベースのユーザー入力から音楽を生成するために、Metaが所有する特定の音楽で訓練されました。

一方、公共の効果音で訓練されたAudioGenは、テキストベースのユーザー入力からオーディオを生成します。
これにより、犬の吠え声や車のクラクション、木の床に落ちる足音などの環境音や効果音を生成することが可能になります。

これらのモデルは研究目的で公開され、技術の理解を深めるため、また、研究者や実践者が自身のデータセットで初めてモデルを訓練し、技術の進歩に貢献できるようにするためです。

以下はMetaの紹介ページの日本語翻訳・要約文章です。

【要約】
AudioCraftは、プロのミュージシャン、インディーゲーム開発者、ビジネスオーナーなどが、自身のテキスト入力に基づき高品質な音楽やオーディオを生成できるシンプルなフレームワークです。このシステムはMusicGen、AudioGen、EnCodecの3つのモデルで構成されています。それぞれのモデルは特定の目的のために訓練されており、例えば犬の吠える音や車のクラクションなどのサウンドエフェクトを生成することができます。今回、これらのモデルが研究目的で公開され、研究者や実践者が自分のデータセットを用いてモデルを訓練し、技術を理解深めることが可能となりました。

詳しくはこちらの原文をご覧ください。

ではさっそくやってみよう！もちろんGPTで・・・

さぁ、ここで出てくるのが大好きChatGPTです。
今回は「AudioCraft」に投入するプロンプトを生成してみたいと思います。

プロンプトは以下のとおりです。

【プロンプト】
あなたは優秀な音楽家です。
MusicGenと呼ばれるプロンプトから音楽を生成するAIのサービスがあります。
MusicGenに投入するプロンプトを書いてくれますか？
生まれてきたよかったと思えるワクワクするようなメロディーがいいです。
英語と日本語それぞれ生成てしてください。

プロンプトのサンプルは以下のようなイメージです。
Text Prompt: Earthy tones, environmentally conscious, ukulele-infused, harmonic, breezy, easygoing, organic instrumentation, gentle grooves

結果は以下のとおりです。

もちろんです。以下に英語と日本語それぞれでプロンプトを生成しました。

【English】

Text Prompt: "A melody that evokes the thrill of being alive, resonating with the joy of existence. Infuse it with a sense of exuberance, heart-swelling gratitude, and the uplifting spirit of a life worth living. Think vibrant, optimistic tonalities, buoyant rhythms, and harmonies that bloom like a smile."

【日本語】

テキストプロンプト：「生きている喜びを感じさせ、存在の幸せに共鳴するメロディーを作り出してください。それには、豊かな喜び、心が満たされる感謝、そして生きる価値のある生活の高揚感を込めてください。考えるべきは、明るく楽観的な音色、弾けるようなリズム、そして笑顔のように開花するハーモニーです。」

おぉ、すごいな！このリクエストでここまで書いてくれるんですね！素晴らしいです。
以下の文章などは私からは出てこなそうな表現ですね、また一つ学びとナレッジが増えたな(笑)

そして生きる価値のある生活の高揚感を込めてください。

では、この文章をもとに「AudioCraft」に投入してみよう！