GenéLive!:リズムゲームの譜面制作をAIで加速
KLab株式会社(本社:東京都港区、代表取締役社長:森田英克、以下「KLab」)と九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センター(所在地:福岡県春日市、センター長:小野謙二、以下「九州大学」) は、共同研究中の「機械学習(AI)を用いたリズムアクションゲームの譜面制作支援システム」を高度化する新技術を研究開発し、またその共著論文が、人工知能分野の権威ある国際学会「AAAI-23」に採択され、2023年2月にワシントンDCで開催される学会で発表されることをお知らせいたします。
【画像:https://kyodonewsprwire.jp/img/202212261678-O2-gE0MM89C】
採択論文「GenéLive! Generating Rhythm Actions in Love Live!」について
近年、人工知能(AI)は目覚ましい発展を遂げ、社会のあらゆる場面で活用が広まっています。KLabと九州大学は、ゲーム産業におけるAI活用の可能性を開拓するため、2021年3月より共同研究を進めてまいりました(※1)。本共同研究は、KLabが独自に研究開発を進めてきた譜面制作支援システムについて、譜面生成に用いる機械学習アルゴリズムを高度化することで、より楽曲にマッチした魅力的な譜面を生成できるようにすることを目的としたものです。
共同研究を通して、九州大学のスパコンをも活用した最先端の学術的成果をゲーム業界に普及させるとともに、学生がゲーム産業の現場で使われるリアルな機械学習に触れられる機会を提供してきました。
リズムアクションゲームは、音楽に合わせて画面に流れる譜面をタイミングよく打ちこむゲームです。ユーザーのみなさまに常に新しいゲーム体験を提供するためには、魅力的な譜面をいかにして短い周期でお届けするかが重要となります。この論文で提案した深層生成モデル”GenéLive!”は、音の立ち上がり、拍や小節、といった様々な時間スケールの音声パターンを抽出できます。
これにより、似たフレーズの繰り返しに対しては似た譜面パターンを繰り返したり、Bメロからサビに切り替わるところで譜面パターンを変えたりといった、楽曲の特徴を捉えた譜面を生成できるようになりました。
GenéLive!を導入した譜面制作支援ツールによって、KLabでは譜面制作に要する時間が半分になり、1か月の配信楽曲数を倍増させることができました。オープンデータでの評価実験コードと訓練済みモデルは世界に公開しています(※2)。
※1:2021年3月1日発表「KLab × 九州大学 機械学習を用いたリズムアクションゲームの譜面制作支援システムの高度化に向けた共同研究を開始」
https://www.klab.com/jp/press/release/2021/0301/klab_3.html
※2:https://github.com/KLab/AAAI-23.6040
・AAAI-23について
本論文は2023年2月7日から14日にかけてアメリカ、ワシントンDCで開催されるAAAI-23(※3)において発表予定です。AAAIはアメリカ人工知能学会(Association for the Advancement of Artificial Intelligence)の年次大会で、人工知能分野において最も権威ある国際学会の1つです。世界最先端のAI研究者が集う、競争が激しい学会としても知られ、本年は世界中から8,777本の論文が投稿され、19.6%にあたる1,721本が採択されました。
※3:AAAI-23
https://aaai.org/Conferences/AAAI-23/
【採択された共著論文】
GenéLive! Generating Rhythm Actions in Love Live!
https://doi.org/10.48550/arXiv.2202.12823
【著者】
高田 敦史(KLab)、山崎 大地(Y's LLC.)、劉 立坤(九州大学)、吉田 雄大(KLab)、ガンバト・ニャムフー(KLab)、下斗米 貴之(KLab)、山元 大賀(九州大学(当時))、櫻井 大督(九州大学)、濱田 直希(KLab)
【画像:https://kyodonewsprwire.jp/img/202212261678-O1-i8KjfR4Q】
深層生成モデル”GenéLive!”により、譜面制作に要する時間の50%短縮を実現
研究者コメント
九州大学コメント
スパコンが社会に貢献した好例と言えると思います。今回の共同研究は単なる民間企業支援ではありません。AAAIでの発表や論文化によって、世界全体に対して、今回の音楽AIのアプローチが現実の経済活動を促進することを示すことができました。音楽AIはまだまだ発展途上であり、この技術を元にして、ゲーム音楽業界全体の経済活動を促進できたら幸いです。
特に今回は九州大学情報基盤研究開発センターのスパコンシステムである ITO (URL: https://www.cc.kyushu-u.ac.jp/scp/) の64基のGPUを活用することで、民間単独では難しい、精緻な研究や、評価を行うことができました。
それから、本学の教育機会としても意義があります。特に、学生に実社会でのAI活用の経験を積ませることができました。海外の企業から声がかかる優秀な学生も現れ、大いに貢献してくれたと思います。
また海外からの人材が大学、企業の双方にいたチームであったことも、国際的な視点を意識して研究開発を進められたことに貢献したと言えます。
KLabコメント
今回の共同研究で開発した技術は、アップテンポなロックからゆったりとしたバラードまで様々なジャンルやテンポの楽曲に対して、曲調にあわせた譜面を生成できるようにしたものです。実際のライブイベントでファンの皆様が行うような「合いの手」を再現した譜面が生成されたことに驚き、AIがまるでファンの一人になったかのように感じました。AAAIへの採択によって、この技術が人工知能の学術研究にも貢献できたことが大変嬉しいです。九州大学の皆様や、KLab社内メンバーによる積極的なアイディアや議論のおかげです。ありがとうございます。
KLabと九州大学は、今後も本共同研究により、生成モデルに関する最新の学術的知見を導入した制作支援システムの構築を目指します。
※記載された会社名、製品名、サービス名は各社の商標または登録商標です。
九州大学について
名称:九州大学 情報基盤研究開発センター 附属汎オミクス計測・計算科学センター
代表者:センター長 小野謙二
所在地:〒816-8580 福岡県春日市春日公園6-1
URL:http://clam.cc.kyushu-u.ac.jp/ja
KLab(クラブ)株式会社
社名:KLab株式会社(英文名:KLab Inc.)
代表者:代表取締役社長 森田英克
設立:2000年8月1日
資本金:53億6364万円(2022年11月末現在)
株式公開:東京証券取引所・第一部(3656)
本社所在地:〒106-6122 東京都港区六本木6-10-1 六本木ヒルズ森タワー
事業内容:モバイルオンラインゲームの企画・開発・運用
URL:http://www.klab.com/jp
戦艦「大和」のカラー映像を初公開 米軍撮影 大分の市民団体が入手
故上島竜兵さんの妻広川ひかる感謝 三回忌にお墓参りし、とんぼ返りした芸人
浜田雅功「H Jungle with t」29年ぶり復活ライブ WOW WAR TONIGHT熱唱
小柳ルミ子がサッカー界のレジェンドと奇跡的遭遇2ショット スタジアムで2万人近い人混みの中
内裏を出ることを命じられ、絶望のふちに立った定子は…/「光る君へ」第20回あらすじ
前澤友作氏「なんとクラス優勝してしまいました」本格カーレース初参戦で初優勝
【日本ハム】マルティネス「モウチョット…カタロース」9回フェン直適時三塁打も前夜食事反省
【阪神】中野拓夢、母の日に決勝打「ありがとうを伝えられたら」 昨年は黄色の上着をプレゼント
水樹奈々「たまりにたまったエネルギーを放出した」6年ぶりキングレコードのアニソンフェス
【巨人】母の日ピンクバット坂本勇人「赤バット」川上哲治氏並ぶ通算2351安打 16打席ぶり右前打
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
曙と熱愛した相原勇(52)の現在が衝撃的すぎると話題に
55歳森口博子「だっちゅーの」鮮やかビキニ姿披露にX歓喜「破壊力ハンパない」「スゴすぎ」
「ふてほど」25歳女優“薔薇ブラ”でポロリ寸前?過激衣装に「見えちゃう」「刺激強すぎ」
大物炎上系ユーチューバー”衝撃の預金残高”公開「すげぇ」「エグい」驚きの声
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
水原一平容疑者 最高刑「懲役33年」トレンド入り 「人生詰んだ」「稀代の詐欺師」の声
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
深夜のファミリーマート徘徊、必ず入っている「フエラムネのミニチュアおもちゃ付」を探し求めた結果……
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
小澤征悦と再婚した桑子真帆アナ(34)黒い過去が流出、衝撃の過去にネット騒然
ガーシー、佐野ひなこの暴露を示唆でネット騒然「ファンだったのに」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
戦艦「大和」のカラー映像を初公開 米軍撮影 大分の市民団体が入手
故上島竜兵さんの妻広川ひかる感謝 三回忌にお墓参りし、とんぼ返りした芸人
浜田雅功「H Jungle with t」29年ぶり復活ライブ WOW WAR TONIGHT熱唱
小柳ルミ子がサッカー界のレジェンドと奇跡的遭遇2ショット スタジアムで2万人近い人混みの中
内裏を出ることを命じられ、絶望のふちに立った定子は…/「光る君へ」第20回あらすじ
前澤友作氏「なんとクラス優勝してしまいました」本格カーレース初参戦で初優勝
【日本ハム】マルティネス「モウチョット…カタロース」9回フェン直適時三塁打も前夜食事反省
【阪神】中野拓夢、母の日に決勝打「ありがとうを伝えられたら」 昨年は黄色の上着をプレゼント
水樹奈々「たまりにたまったエネルギーを放出した」6年ぶりキングレコードのアニソンフェス
【巨人】母の日ピンクバット坂本勇人「赤バット」川上哲治氏並ぶ通算2351安打 16打席ぶり右前打