音ゲーの“譜面”作りをAIで高速化 KLabが「スクスタ」で活用、所要時間を半分に - ITmedia

　ゲームセンターの筐体としてだけでなく、スマートフォンゲームの一つとしても人気を集めるリズムゲーム。他のゲームと違うのは、ガチャだけでなく新しい曲やその“譜面”も、新規コンテンツとして開発する必要がある点だ。特に譜面、曲に合わせてタッチする位置などを示した時系列データは、1曲1曲に合わせて新規に作ることになる。この手間を、AIを活用して効率化している企業がある。

　「低い難易度の譜面作りにAIを活用することで、1曲当たり40時間ほどかかっていた作業時間を約50％削減できた」──スマホ向けリズムゲーム「ラブライブ！スクールアイドルフェスティバル ALL STARS」（スクスタ）を開発するKLabの高田敦史さん（開発推進部機械学習グループ）は、自社開発した「譜面制作支援ツール」についてこう話す。

「ラブライブ！スクールアイドルフェスティバル ALL STARS」のスクリーンショット（公式サイトから引用）

　スクスタは当初、年間に追加する予定の楽曲数が24曲だったところ、ペースアップが必要になり60曲に増加。仕事の量が予定の2倍超に膨れ上がったことから、制作を効率化するため2020年に開発を始めたものという。

　ゲーム開発者向けの講演イベント「CEDEC 2021」（8月24〜26日）で、自動化された譜面作りの裏側を高田さんが解説した。

楽曲データを基に自動生成　非エンジニアでも使えるようWebアプリに

　まず、スクスタの譜面がどんな流れで制作されているのか整理する。スクスタでは、1曲につき「初級」から「上級＋」まで4つの難易度の譜面を、押すだけで反応する「通常タップ」や長押しが必要な「ロングノーツ」といったノート（流れてくる音符）を組み合わせて制作している。

譜面作りの流れ

　KLabではこれらの譜面を（1）社内の「音楽チーム」が楽曲を基にベースとなる譜面をMIDIファイルとして作成する、（2）「企画チーム」がこれをさらに編集したり、演出を足したりする、（3）本番用のデータに変換し、ゲームに追加する──という流れで完成させている。

譜面制作支援ツールのUI

　譜面制作支援ツールはこのうち、音楽チームの作業を効率化するためのものだ。楽曲のデータをアップロードし、BPMなどを入力すると、各難易度の譜面を自動生成する。エンジニアでない人でも使えるよう、KLabの社員アカウントを持つ人だけがログインできるWebアプリとして開発した。生成にかかる時間はPCのスペックに左右されるが、基本的に数時間かかるという。

Unity製ツールのUI

　完成した譜面はMIDIかJSONファイルとして出力可能。処理が完了するとSlackに通知を送る機能や、ツール内から使い方のマニュアルを閲覧できる機能も搭載している。作成した譜面を実際のゲーム画面に似せた画面で確認できるアプリもゲームエンジン「Unity」で開発した。

　「基本的には初級など低い難易度の譜面を作るときに、人間が最終調整することを前提に利用している」と高田さん。ただし、楽曲によっては手を加える必要のない譜面が出力されることもあり、そういった場合はほぼ調整せず企画チームに回す場合もあるという。

関連記事

Dance Dance Revolutionの先行研究を参考に機械学習モデルを開発

　譜面を出力するAIには、リズムゲーム「Dance Dance Revolution」の譜面を自動生成する先行研究「Dance Dance Convolution」を参考に「Onsetモデル」と「Symモデル」という2種類のモデルを組み合わせる仕組みを採用した。

　Onsetモデルは音源を基に、ノートのありそうなタイミングを推定するモデル。一方のSymモデルはノート同士の間隔を基に、次に来るノートがどんな種類になるか推定するモデルだ。これらを併用し「Onsetモデルでノートを置くタイミングを決め、Symモデルでその種類を決める」仕組みにしているという。

　学習させるデータは、過去の楽曲約100曲やその難易度別の譜面など。これらに加え、各楽曲のBPMも入力しているという。高田さんはBPMを学習させる理由についてこう話す。

　「低難易度の譜面を作る場合、ほとんどのノートの位置が拍や小節の区切りと同タイミングになる。4拍子の場合、1小節は4拍で、拍が何秒おきに来るかというのはBPMで決まる。（AIに加え）人力で作成する場合も重要な参考になるため、社内でも管理用のデータを用意しており、これを機械学習にも利用している」

精度向上に“GAN”も検証中

　先行研究を活用し、業務を効率化したKLab。現在はモデルの改良に向け、さらなる取り組みを進めているという。

　その一つがGAN（敵対的生成ネットワーク）の活用だ。GANとは「より本物らしいものを作るAI」（ジェネレータ）を「本物か偽物か見抜くAI」（ディスクリミネータ）が評価することで精度を上げていく手法で、主に画像生成などの分野で活用されている。

　KLabでは、これをリズムゲームの譜面作りにも利用できないか検証中という。具体的には、音源を基にジェネレータでノートをどこに置くかというデータを生成。このデータと本物の譜面のデータをディスクリミネータが識別できるか試すことで、精度を上げる手法を試しているという。

KLabの高田敦史さん

　「画像や音楽などの自動生成はホットな話題。ただしこれらは自由度が高く、現状（の技術）では人間が見たときに違和感が残る。ところが、ゲームの素材の中には比較的生成しやすいものもある。ゲームはコンテンツの種類や量が多く、単純作業も増える。単純作業は機械学習に任せ、人間はクリエイティブな作業に集中できれば、機械学習を使ったコンテンツ生成の可能性は広がっていくのではないか」

関連記事

関連リンク

Adblock test (Why?)

からの記事と詳細 ( 音ゲーの“譜面”作りをAIで高速化 KLabが「スクスタ」で活用、所要時間を半分に - ITmedia )
https://ift.tt/3gJvoRr