はじめに

はじめまして。DMM.com 会長室インターン生の橘川です。

DMM.comでは東京大学大学院情報理工学系研究科システム情報学専攻の猿渡研究室と共同で音声変換システムを開発しており、今夏、日本テレビが開催するイベント「超汐留パラダイス」にて『HUNTER&times;HUNTER』のキャラクターに自分の声を変換できる技術が採用されました。

私はブースの出展に携わっており、今回はその様子をお伝えします。

<h3 id="リアルタイム音声変換とは">リアルタイム音声変換とは</h3>

リアルタイム音声変換とはその名のとおり、リアルタイムに自分の声を別人の声に変換する技術です。

例えば、男性の声が女性の声に、女性の声が男性の声になることも可能です。

音声変換するためには、機械学習によって音声変換モデルを作る必要があり、変換元の人と変換先の人が同じ文章を読み上げてもらうことが必要です。その音声データを元に、学習させることで音声変換モデルを作成し、リアルタイムに声を変換させています。

<h4 id="リアルタイム音声変換システムは３段構成から処理される">リアルタイム音声変換システムは３段構成から処理される</h4>

リアルタイム音声変換システムは３段階構成となっており、

1.分析

⼈間の声を&quot;声の⾼さ&quot;、&quot;声⾊&quot;、&quot;声のかすれ具合&quot;の要素に分けて分析します。

2.学習・変換

分析した声の要素を事前に⽣成した声の変換モデルに従って、機械学習を⽤いて⼈間の声の要素に変換します。

3.⽣成

変換した声の要素（&quot;声の⾼さ&quot;、&quot;声⾊&quot;、&rdquo;声のかすれ具合&rdquo;）を再度統合し、⾳声を⽣成します。

&nbsp;

▼イメージ図

<img alt="f:id:dmminside:20190826141752j:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190826/20190826141752.jpg" title="f:id:dmminside:20190826141752j:plain" />

&nbsp;

音声変換モデル作成のために大人から子供までの声の収録

今回、誰の声でも特定のキャラクターの声に音声変換をできるようにするために、変換元の音声として複数の属性の音声データを収録する必要があり、声優の方や、アナウンサーの方、ＤＭＭ.com社員のお子さんたちの音声を収録しました。

<img alt="f:id:dmminside:20190826141819j:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190826/20190826141819.jpg" title="f:id:dmminside:20190826141819j:plain" />

収録では、全員同じ台本でアニメ『HUNTER&times;HUNTER』のセリフや日本語の音声変換に必要な文章を読んでいただいて行いました。

大人でもなかなか読みづらいカタカナ語が多く、噛まずに読むためにかなり時間がかかることもありました。

実際に私の声も収録したのですが、カタカナ語で行き詰まることや、お手本の声優の方のように感情を込めて読むことがなかなかできずにいました。

<img alt="f:id:dmminside:20190826141846j:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190826/20190826141846.jpg" title="f:id:dmminside:20190826141846j:plain" />

また、収録した場所は防音となっているためとても静かであり、そこに大きなマイクを設置し、音声を収録します。

小さな子は部屋に入った途端、静かな空間でいろんな人に見られながらセリフを読むことに緊張してしまう子ばかりでした。

しかし、最初は恥ずかしくて声の小さかった子も、自分の声が収録されている面白さに気づき、最後にはキャラクターになりきってセリフを読んでくれました。

難しく読めないカタカナ語も何度か練習していくうちに読めるようになり、小学校の音読の練習になったと言ってくれた子もいました。

『HUNTER&times;HUNTER』を知っている子供は、いつもアニメを見ている側からキャラクター側になれることに喜んでくれました。音声収録をしていただいた方々には、声優の体験などなかなかできる機会ではないため貴重な経験にしていただけたと思います。

&nbsp;

<h3 id="超汐留パラダイスにてアフレコ体験">「超汐留パラダイス」にてアフレコ体験！</h3>

日本テレビにて2019年7月26日～8月25日まで開催された「超汐留パラダイス」では『HUNTER&times;HUNTER』のアフレコを体験できるブースを出しました。ブースはヘッドホンにマイク、モニターとかなり本格的なセットになっていました。&nbsp;

&nbsp;

<img alt="f:id:dmminside:20190903130006p:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190903/20190903130006.png" title="f:id:dmminside:20190903130006p:plain" />

&nbsp;

<center><img alt="f:id:dmminside:20190905192124p:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190905/20190905192124.png" title="f:id:dmminside:20190905192124p:plain" width="443" /> 
ブースにはこんな素敵な立て看板も作られました。</center>

&nbsp;

<img alt="f:id:dmminside:20190903130130p:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190903/20190903130130.png" title="f:id:dmminside:20190903130130p:plain" />

ブース内部では、流れてくるアニメの映像に合わせ、マイクに向かってセリフを話すと、自分の声がキャラクターの声に変換されます。&nbsp;

表側は華やかなブースですが、裏側には涙ぐましい努力がありました。

<img alt="f:id:dmminside:20190826142101j:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190826/20190826142101.jpg" title="f:id:dmminside:20190826142101j:plain" />

機材設置中の一場面。

&nbsp;

<img alt="f:id:dmminside:20190826142132p:plain" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20190826/20190826142132.png" title="f:id:dmminside:20190826142132p:plain" />

開催前には何度も調整が繰り返されました。

 
アフレコ後には、変換された声で自分が話したセリフがアニメの映像に合わせて聞くことができ、お客さんは大人から子供まで、さまざまな世代の方がアフレコ体験をしてくれました。

皆さんに共通して言っていただけた感想は「凄い！」です。

『HUNTER&times;HUNTER』のファンの方などは、自分が憧れのキャラクターの声になれることにもすごく感動してくれました。

小さな子供たちは、自分の声が違う声に変わっていることがとても面白いようで、楽しんでくれました。

今回たくさんの方に楽しんでもらえた理由としては、ただのアフレコ体験ではなく、声が変わるというのは今までにないアフレコ体験であったからです。こういった技術は初めてなので、物珍しさから体験していく方もかなりいました。

&nbsp;

実際にブースで体験した様子はこちらでご覧いただけます。

▼デモ動画

<iframe allowfullscreen="" frameborder="0" height="270" id="widget2" src="https://www.youtube.com/embed/vFSHxn_G2iQ?feature=oembed" width="480"></iframe><cite><a href="https://youtu.be/vFSHxn_G2iQ" target="_blank">youtu.be</a></cite>

&nbsp;

<h3 id="今後の音声変換システム">今後の音声変換システム</h3>

今回のように好きなキャラクターの声になれたり、好きな芸能人の声になれたりすることはファンにとってはとてもうれしいことだと思います。

アニメで自分が言ってみたいセリフを言うことができて、また言ってもらいたいセリフを自分で言うことで、それを言われているようにも変換できます。

動画配信でも自分の声を変えて配信する場面が増えてきており、今後もさまざまな場所で需要が高まっていくのではないでしょうか。

DMMでは今回のような実証実験を繰り返しながら、ビジネスとして幅広く展開していく予定です！

&nbsp;

DMM.com Groupでは一緒に働く仲間を募集しています！ 少しでも興味を持っていただいたあなたのエントリーをお待ちしております。

<iframe frameborder="0" scrolling="no" src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdmm-corp.com%2Frecruit%2F" title="RECRUIT"></iframe><cite><a href="https://dmm-corp.com/recruit/" target="_blank">dmm-corp.com</a></cite>

今までにないアフレコ体験を！「リアルタイム音声変換システム」とは？

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM地方創生

DMM.make AKIBA

DMM.make 3Dプリント

Seamoon Protcol by DM2C Studio

ONE DAY DESIGN

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Algoage

DMM EV CHARGE

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

Web3

研究開発

アプリ

ブロックチェーン

プラットフォーム

横断開発

インフラ

アミューズメント

同人

サーバサイド

バックエンド

フロントエンド

ネットワーク

セキュリティ

配信基盤

ペイメント

Android

データベース

ビッグデータ

フルスタック

データ分析

機械学習

プロトタイピング

グラフィックデザイン

3DCG

モーショングラフィック

プロダクトデザイン

コピーライティング

サービスデザイン

コンテンツ管理・制作

ブランディング

マーケティング

企画

編集

営業

プロモーション

今までにないアフレコ体験を！「リアルタイム音声変換システム」とは？

シェア