ポートフォリオ → AI音楽
生活シミュレーションゲームHeart Apartmentのために、AIで生成したサウンドトラックです。耳で方向を決め、数字でチェックし、2日で仕上げました。
正式に公開されている作品と同等の完成度。
多くの場面を通じて、同じ世界観に聞こえるサウンドトラックが必要です。技術的なチェックだけでは、静かな部屋に合う曲か、口げんかの場面に合う曲かは判断できません。
場面ごとの制作指示を書き、すべての生成結果を聴き、各曲をゲームのどこで使うか決めました。制作スクリプトはAIエージェントが実装し、音楽は音声モデルが生成しました。
ほのぼのした生活シミュレーションには、ひとつの世界に聞こえて、しかも邪魔にならない音楽が何時間分も必要です。1曲だけなら、モデルはどんな曲でも作れます。難しいのは、50曲の足並みをそろえること。しかも品質を判断する方法は、ひとりの人間の「なんか違う」だけです。
不採用のテイクは、書き直した説明文として最初に戻ります。色付きのステップは人の判断です。
| 私の評価 | 数値 | ルール |
|---|---|---|
| 単調で、全体的に騒がしい | 和声変化 0.10–0.11（気に入った曲は0.21–0.56） | 和声を明記：maj7／m9のコード、ゆっくりした進行 |
| 編曲が壮大すぎて、重苦しい | 60 Hz未満のエネルギーが50–80 %（気に入った曲は0–12 %） | ドローン、サブベース、ストリングスのパッドは使わない |
| 楽器が多すぎて、雑然としている | スペクトル重心 492 Hz（ほかの曲は120–250 Hz） | 楽器は3〜5つ。フレーズの間に余白を |
曲を短い区間に分け、区間ごとのスペクトルを12の音名にまとめます。その音の分布が、区間から次の区間へどれだけ変わるかを測ります。ひとつのコードにとどまる曲は低く、コード進行に沿って動く曲は高くなります。
組み込みのプロンプト拡張機能は、レコードのノイズ、シェイカー、ヒップホップのドラムを足し、「少し不安げ」をホラー映画のような雰囲気に変えてしまい、ゲームの世界に合わないものになりました。7回目からは、具体的な楽器とテンポを1文で指定し、ambientやcinematicのような雰囲気を表す言葉を避けました。その回の30秒テストは、ほぼすべて合格しました。
静かな読書シーンのテーマ曲は、30秒の時点では良い評価でした。ところが3分版は4本とも、1分のところでコントラバスが入ってきたため不採用になりました。静かなシーンはピアノ独奏に切り替え、承認はフル尺で行うことにしました。
連打されるクラップや、詰め込みすぎのスナップは制御できませんでした。対策は2つです。ドラムなしで旋律楽器のデュオとして生成するか、あとから音源分離でドラムを取り除く、または下げる方法です。ほかの楽器には手を加えません。
バッチ実行ツールは、ComfyUIのジョブを1プロセスにつき1つ、600秒の制限つきで起動します。その後、各ファイルをデコードし、シード、プロンプト、設定、実際の長さ、形式をジョブファイルと照合します。95件のジョブはすべて、プロンプトのハッシュとGPUメモリの最大使用量とともに記録しています。
全76曲をITU-R BS.1770-4に沿って測定し、音楽は−18 LUFS、環境音は−27 LUFS、トゥルーピークは−1 dBTP以下にそろえました。調整は固定ゲインのみで、コンプレッサーやリミッターは使わないため、音そのものは変わりません。静かな6曲は、リミッターを通すのではなく、目標をわずかに下回ったままにしました。測定ツールは事前に、規格の基準信号で自己テストしています。
新しいバッチは、白紙のプロンプトからは始めませんでした。各ジョブは、私がすでに承認した曲の生成設定をまるごと再利用しています。最初は下の夜のジャズ、のちに私がComfyUIで自作した朝の曲です。変えたのは説明文だけです。
正式に公開されている作品と同等の完成度。
完成度が非常に高い。
シードを4つ試して3つを採用し、それぞれ違う評価になりました。これが制作プロセスそのものです。
採用可。
物語性が強い。
雰囲気が十分に表現されている。
ラウドネスをそろえたマスターからの抜粋、60–75秒。
| 家・昼 | 朝 · 週末にソファでブランチ · 家事 · 午後の読書 · 一緒に料理と夕食 |
|---|---|
| 家・夜 | 夜のローテーション · にぎやかなおしゃべりの時間 · 静かな夜 · 仕事終わりのひと息 · 並んで読書 |
| 仕事 | 2人それぞれの仕事の日 · 仕事の締めくくりと残業 |
| おでかけ | 近所 · 公園のベンチと散歩 · 夕暮れの帰り道 · 出かける途中 |
| お店 | スーパー · ショッピングプラザとデパート · 生活雑貨店 · 映画館のロビー |
| テーマ曲 | タイトル · 週のふりかえり |
| ストーリー用の短い曲 | 覚えていてもらえた · 軽いからかい · 上司の返事待ち · 疲れてひと休み · 喪失と別れ · 謝罪と仲直り · うれしい知らせ · 週の終わり |
| 環境音 | 家 · オフィス · 公園の池 · スーパー · 雨 |