国際高専OBの鈴木大志さんが金沢工業大学4年次に取り組んだ研究が 情報処理学会論文誌に採録。
2024年2月15日
学校法人金沢工業大学
【表:https://kyodonewsprwire.jp/prwfile/release/M103034/202402156615/_prw_OT1fl_QktqnZ3C.png】
国際高等専門学校卒業生の鈴木大志さんが金沢工業大学情報工学科4年次のプロジェクトデザインIII(卒業研究。研究指導教員:情報工学科中沢実教授、鷹合大輔准教授)で取り組んだリアルタイム音質変換手法の研究内容の一部が情報処理学会論文誌(Journal)に採録され、2024年2月号に掲載されました。当論文は、厳しい査読結果からアクセプト(掲載許可)されたもので、国際高専4年生、5年生の2年間と金沢工業大学3年次、4年次の2年間の計4年間、一貫してAIに取り組んできた鈴木さんの研究水準の高さが評価されたといえます。
【鈴木大志さんについて】
鈴木大志さんは国際高等専門学校グローバル情報学科4年生、5年生の2年間、金沢工業大学AIラボにて大学生とともに深層学習をはじめとする機械学習や音声処理に関するAIスタートアッププロジェクトに参加しました。
2020年に国際高専を卒業後、金沢工業大学情報工学科3年次に編入した後も、AIラボで一貫して音質変換を如何に高精度且つリアルタイムに実現するかについて研究に取り組んできました。
そして学部4年次のプロジェクトデザインIIIでは、深層学習を専門とする中沢実教授と、信号処理を専門とする鷹合大輔准教授の指導のもとで、今回論文誌に掲載された「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」に取り組んできました。
【画像:https://kyodonewsprwire.jp/img/202402156615-O1-4fuTK1xA】
鈴木大志さんは国際高専在学中から金沢工業大学AIラボの一員として大学生と一緒に研究に取り組んだ
(写真右から2番目)
【鈴木大志さんの研究の概要について】
声質変換は、ある話者の声質を別の話者の声質に変換する技術で、応用先としてはアバターを使ったオンライン会議やボーカロイド、ボイスチャット、電話などでの使用があげられます。
身近な例でいえば、スマートフォンを使った電話も、実は本人そのものの声ではなく、本人に近い合成音声が使われています。
近年、深層学習を用いた声質変換技術の発展により、ある人物の声を、発話内容を変えずに別の人物の声質に高精度で変換することが可能となってきました。
こうした音声変換手法は扱う人数に応じて
(1) One-to-One
(2) Many-to-Many
(3) Any-to-Any
に大きく区分できます。
(1) は、特定の人物Aの声質を特定の人物Bの声質に変換する方式で、学習にはAとBの2人の声質が使われます。
(2)は、学習に用いる人物を複数人でき、手法によってはその双方向を変換できる方式ですが、学習に用いていない声質への変換はできません。
(3)は、学習に目標の声質の音声が含まれているかにかかわらず変換できる方式としてAutoVCがあり、学習用のデータになかった未知の対象を、テキストなどの補助的な情報を用いて予測する”ゼロショット”声質変換法と呼ばれます。
ゼロショット声質変換法では,多くの場合、
(1) 入力話者音声をメルスペクトログラムに変換し、
(2) 入力話者のメルスペクトログラムを出力話者のものに変換。
(3) 出力話者のメルスペクトログラムで音声信号を生成する。
という手順を踏みます。
この声質変換に要する時間が入力音声よりも短ければリアルタイム声質変換が可能ですが、(2) と(3) の両方で深層学習モデルを使うためGPUを使った演算量が増加し,それがリアルタイム声質変換の実現を困難にしていました。
この解決策として鈴木さんが提案したのは、音声の特徴量を「スペクトル包絡」、「基本周波数」、「非周期性指標」の3 つとし、深層学習モデルはスペクトル包絡の変換にのみ適用することで演算量を削減する方法でした。
【画像:https://kyodonewsprwire.jp/img/202402156615-O2-61wRye9i】
深層学習モデルをスペクトル包絡の変換にのみ適用することで
GPUの演算量を削減し、リアルタイム変換を可能とした
深層学習モデルはAutoVC の構造をベースとして、前処理と後処理部分を変更したものを用いました。実験により、音声信号1 秒あたりの処理に要する時間はGPU 環境では0.2 秒以下となり、リアルタイム声質変換可能であることが示されました。
さらに従来のAutoVC と比べても品質が改善できていることもMOS(Mean Opinion Score)による評価結果から示されました。
※メルスペクトログラム
音響特徴量の一部。音声の周波数をフーリエ変換したスペクトログラムで、人間の音声知覚の特徴を考慮したものを特にメルスペクトログラム(mel spectrogram)と呼ぶ。
※スペクトル包絡
スペクトルの曲線族すべてに接している曲線を包絡線(ほうらくせん)と呼び、包絡線の表す山や谷などを「包絡」という。
※GPU
特定の 3D レンダリング・タスクの高速化などに特化したプロセッサー。グラフィックスとゲームに使われるほか、汎用的な並列プロセッサーとして、生成AIなどにも使用されている。
論文名:「AutoVCを用いたゼロショットリアルタイム声質変換手法の実装と評価」
執筆者:鈴木大志 鷹合大輔 中沢実
情報処理学会論文誌 Vol.65 No.2 529-537(Feb.2024) 発行年2024-02-15
中尾彬さん「それで一緒になろうと思った」追悼「徹子の部屋」で池波志乃とのなれそめ語る
「夢グループ」の元社員ら2人を背任容疑で逮捕 3700万円着服か
妊娠9カ月で堕胎の疑い 留学生と交際相手を逮捕 河川敷に遺体
ソフトバンク和田毅、中日根尾昂、板山祐太郎、楽天荘司康誠、山田遥楓を抹消/23日公示
「徳川家康の末裔」ギャル芸人が剛力彩芽に「元カレ」トークぶっ込む緊急事態!「ツマミ」
ドジャース・ロバーツ監督 カード負け越しに「改善すべきところも多くある」
大谷翔平 ドジャースで今季50試合目の出場 塁打は球団歴代2位
つばさの党代表らの衆院補選妨害容疑 警察庁長官「許されない」
東映「仮面ライダー」等身大マスク無断複製販売の人物逮捕報告「刑事、民事を問わず厳正に対処」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
藤田ニコル「初めてした日」ゆうちゃみ「体位とかも全部」親に明かしたギャル的「性事情」に騒然
吉住、なぜかR-1グランプリの大爆笑ネタが炎上させられてしまう事態に
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
俳優の中尾彬さんが死去、81歳 幅広く活躍 トレードマークは「ねじねじ」 妻は池波志乃
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
中尾彬さん「それで一緒になろうと思った」追悼「徹子の部屋」で池波志乃とのなれそめ語る
「夢グループ」の元社員ら2人を背任容疑で逮捕 3700万円着服か
妊娠9カ月で堕胎の疑い 留学生と交際相手を逮捕 河川敷に遺体
ソフトバンク和田毅、中日根尾昂、板山祐太郎、楽天荘司康誠、山田遥楓を抹消/23日公示
「徳川家康の末裔」ギャル芸人が剛力彩芽に「元カレ」トークぶっ込む緊急事態!「ツマミ」
ドジャース・ロバーツ監督 カード負け越しに「改善すべきところも多くある」
大谷翔平 ドジャースで今季50試合目の出場 塁打は球団歴代2位
つばさの党代表らの衆院補選妨害容疑 警察庁長官「許されない」
東映「仮面ライダー」等身大マスク無断複製販売の人物逮捕報告「刑事、民事を問わず厳正に対処」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!