はじめに
はじめまして。DMM.com 会長室インターン生の橘川です。
DMM.comでは東京大学大学院情報理工学系研究科システム情報学専攻の猿渡研究室と共同で音声変換システムを開発しており、今夏、日本テレビが開催するイベント「超汐留パラダイス」にて『HUNTER×HUNTER』のキャラクターに自分の声を変換できる技術が採用されました。
私はブースの出展に携わっており、今回はその様子をお伝えします。
リアルタイム音声変換とは
リアルタイム音声変換とはその名のとおり、リアルタイムに自分の声を別人の声に変換する技術です。
例えば、男性の声が女性の声に、女性の声が男性の声になることも可能です。
音声変換するためには、機械学習によって音声変換モデルを作る必要があり、変換元の人と変換先の人が同じ文章を読み上げてもらうことが必要です。その音声データを元に、学習させることで音声変換モデルを作成し、リアルタイムに声を変換させています。
リアルタイム音声変換システムは３段構成から処理される
リアルタイム音声変換システムは３段階構成となっており、
1.分析
⼈間の声を"声の⾼さ"、"声⾊"、"声のかすれ具合"の要素に分けて分析します。
2.学習・変換
分析した声の要素を事前に⽣成した声の変換モデルに従って、機械学習を⽤いて⼈間の声の要素に変換します。
3.⽣成
変換した声の要素（"声の⾼さ"、"声⾊"、”声のかすれ具合”）を再度統合し、⾳声を⽣成します。
▼イメージ図
音声変換モデル作成のために大人から子供までの声の収録
今回、誰の声でも特定のキャラクターの声に音声変換をできるようにするために、変換元の音声として複数の属性の音声データを収録する必要があり、声優の方や、アナウンサーの方、ＤＭＭ.com社員のお子さんたちの音声を収録しました。
収録では、全員同じ台本でアニメ『HUNTER×HUNTER』のセリフや日本語の音声変換に必要な文章を読んでいただいて行いました。
大人でもなかなか読みづらいカタカナ語が多く、噛まずに読むためにかなり時間がかかることもありました。
実際に私の声も収録したのですが、カタカナ語で行き詰まることや、お手本の声優の方のように感情を込めて読むことがなかなかできずにいました。
また、収録した場所は防音となっているためとても静かであり、そこに大きなマイクを設置し、音声を収録します。
なので、小さな子は部屋に入った途端、静かな空間でいろんな人に見られながらセリフを読むことに緊張してしまう子ばかりでした。
しかし、最初は恥ずかしくて声の小さかった子も、自分の声が収録されている面白さに気づき、最後にはキャラクターになりきってセリフを読んでくれました。
難しく読めないカタカナ語も何度か練習していくうちに読めるようになり、小学校の音読の練習になったと言ってくれた子もいました。
『HUNTER×HUNTER』を知っている子供は、いつもアニメを見ている側からキャラクター側になれることに喜んでくれました。音声収録をしていただいた方々には、声優の体験などなかなかできる機会ではないため貴重な経験にしていただけたと思います。
「超汐留パラダイス」にてアフレコ体験！
日本テレビにて2019年7月26日～8月25日まで開催された「超汐留パラダイス」では『HUNTER×HUNTER』のアフレコを体験できるブースを出しました。ブースはヘッドホンにマイク、モニターとかなり本格的なセットになっていました。
ブースにはこんな素敵な立て看板も作られました。
ブース内部では、流れてくるアニメの映像に合わせ、マイクに向かってセリフを話すと、自分の声がキャラクターの声に変換されます。
表側は華やかなブースですが、裏側には涙ぐましい努力がありました。
機材設置中の一場面。
開催前には何度も調整が繰り返されました。
アフレコ後には、変換された声で自分が話したセリフがアニメの映像に合わせて聞くことができ、お客さんは大人から子供まで、様々な世代の方がアフレコ体験をしてくれました。
皆さんに共通して言っていただけた感想は「凄い！」です。
『HUNTER×HUNTER』のファンの方などは、自分が憧れのキャラクターの声になれることにもすごく感動してくれました。
小さな子供たちは、自分の声が違う声に変わっていることがとても面白いようで、楽しんでくれました。
今回たくさんの方に楽しんでもらえた理由としては、ただのアフレコ体験ではなく、声が変わるというのは今までにないアフレコ体験であったからです。こういった技術は初めてなので、物珍しさから体験していく方もかなりいました。
実際にブースで体験した様子はこちらでご覧いただけます。
▼デモ動画
今後の音声変換システム
今回のように好きなキャラクターの声になれたり、好きな芸能人の声になれたりすることはファンにとってはとても嬉しいことだと思います。
アニメで自分が言ってみたいセリフを言うことができて、また、言ってもらいたいセリフを自分で言うことで、それを言われているようにも変換できます。
動画配信でも自分の声を変えて配信する場面が増えてきており、今後も様々な場所で需要が高まっていくのではないでしょうか。
DMMでは今回のような実証実験を繰り返しながら、ビジネスとして幅広く展開していく予定です！
DMM.com Groupでは一緒に働く仲間を募集しています！ 少しでも興味を持っていただいたあなたのエントリーをお待ちしております。