<h2>はじめに</h2>

<p>こんにちは！ CTO室、兼AI部の古川です。DMMでは、社内の業務効率や顧客向けサービスの品質改善のためにMachine Learning（ML）を活用しており、そこで、専門性の高いML技術の研究開発や、社内のML活用推進活動をしているのがAI部です。</p>

<p>今年8月24日には、Google Cloud Platform（GCP）を活用してML導入を検討するハンズオンを社内で開催しました。</p>

<ul>
	<li><a href="https://inside.dmm-corp.com/articles/gcp-ml-handson" target="_blank">Google Cloud Platformを活用したMachine Learningハンズオン - DMM inside</a></li>
</ul>

<p>前回のハンズオンでは、あらかじめGCPから提供されているML Building Blocksを活用して課題を解決しました。しかし、より複雑な課題を解決するためにはML EngineやAutoMLを用いてモデルを作る必要があるという話でした。</p>

<p>そこで、Google CloudのSolutions Architectである中井悦司さんを講師にお招きし、社内のエンジニアを対象に、より複雑なビジネス課題を解決するためのGCPのMLツールの使い方についてのハンズオンを9月11日に開催いたしました。</p>

<p>今回の記事では、その内容の一部をご紹介したいと思います。</p>

<p>&nbsp;</p>

<h2>ハンズオンの目標</h2>

<p>今回のハンズオンの目標は以下の2つでした。</p>

<ul>
	<li>構造化データを用いて機械学習モデルを構築する</li>
	<li>学習したモデルをデプロイし、Webアプリから利用する</li>
</ul>

<p>具体的には、<a href="https://console.cloud.google.com/bigquery" target="_blank">Natality Dataset</a>（1969年〜2008年の米国における出産記録を集めた公開データセット）を用いて、特徴量（妊娠期間、 胎児の性別など）から新生児の体重を予測するMLモデルを構築します。</p>

<p>Natality Datasetは<a href="https://cloud.google.com/bigquery/public-data?hl=ja" target="_blank">Google BigQueryの一般公開データセット</a>の一つです。約1億3800万もの出産記録が保存されています。</p>

<p>&nbsp;</p>

<h2 id="アーキテクチャの全体像">アーキテクチャの全体像</h2>

<p>Natality Datasetを使ってMLモデルを構築し、APIとして利用可能な形でデプロイするための、GCPを活用したアーキテクチャを下図に示します（一部簡略化しています）。</p>

<p style="text-align:center"><img alt="" height="582" src="https://image.dmm-corp.com/age4nxugrhbld2zerpgyc0kas8qe" width="741" /></p>

<p>開発環境には、<strong>Cloud Datalab</strong>を使用します。Datalabは、事前に各種フレームワークとGCPの認証情報がセットアップされたJupyter Notebookです。</p>

<p>&nbsp;</p>

<h2>データの解析</h2>

<p>まず初めに、データの解析と変換を行います。</p>

<p>MLにおいて、未加工のロー・データを扱うことはあまりありません。サンプルされたデータには欠損やバイアスなど多くのノイズが存在し、モデルの性能を大きく左右します。学習のエビデンスはデータであり、データのエラーはモデルのエラーとなります。統計的ないしはヒューリスティックな特徴量の選択や変換は、しばしばモデルの学習効率や精度に寄与するため、MLでは必ず行われます。</p>

<p>データの解析は、可視化によって行います。Datalabでは、BigQueryのクエリ結果を簡単にPandasのDataFrameで取得することができます。</p>

<pre>
<code>import google.datalab.bigquery as bq

query = '''
SELECT
  weight_pounds,
  is_male,
  mother_age,
  plurality,
  gestation_weeks,
  FARM_FINGERPRINT(CONCAT(CAST(YEAR AS STRING), CAST(month AS STRING))) AS hashmonth
FROM
  publicdata.samples.natality
WHERE year &gt; 2000
LIMIT 100
'''
df = bq.Query(query).execute().result().to_dataframe()
df.head()</code></pre>

<div style="text-align:center">
<figure class="image" style="display:inline-block"><img alt="" height="433" src="https://image.dmm-corp.com/x96sojc9as65228xp1mfxx02dzwp" width="800" />
<figcaption>BigQueryへのクエリの実行結果はPandasのDataFrameで取得でき、ノートブック上で簡単に表示できる。</figcaption>
</figure>
</div>

<p>目的変数は、<code>weight_pounds</code>（胎児の重さ、単位はポンド）です。他のカラムが、説明変数として使えるのか、どうすれば使えるようになるのかを判断していく必要があります。</p>

<p>例えば、<code>plurality</code>（胎児の数）について着目してみます。胎児の数ごとのデータ数と平均体重をグラフで可視化してみます。</p>

<pre>
<code>query = '''
SELECT
  {0},
  COUNT(1) AS num_babies,
  AVG(weight_pounds) AS avg_wt
FROM
  publicdata.samples.natality
WHERE
  year &gt; 2000
GROUP BY
  {0}
'''
df = bq.Query(query.format('plurality')).execute().result().to_dataframe()
df = df.sort_values('plurality')
df.plot(x='plurality', y='avg_wt', kind='bar')
df.plot(x='plurality', y='num_babies', logy=True, kind='bar')</code></pre>

<div style="text-align:center">
<figure class="image" style="display:inline-block"><img alt="" height="1024" src="https://image.dmm-corp.com/bc28uis9b74xq9hwxkpaayx0xltp" width="765" />
<figcaption>（上段）胎児の数ごとの平均体重 （下段）胎児の数ごとのデータ数</figcaption>
</figure>
</div>

<p>グラフを見ると、双子、三つ子と胎児が増えるにつれて、平均体重が減少しているのが確認できます。胎児の数と体重には関係がありそうですね。</p>

<p>しかし、よく見るとデータ数も胎児数が増えるにつれて少なくなっています。カテゴリごとのサンプル数に偏りがある場合は注意が必要です。わかりやすい例として、今度は母親の年齢に着目して、同じようにプロットしてみます。</p>

<pre>
<code>df = bq.Query(query.format('mother_age')).execute().result().to_dataframe()
df = df.sort_values('mother_age')
df.plot(x='mother_age', y='avg_wt');
df.plot(x='mother_age', y='num_babies');</code></pre>

<div style="text-align:center">
<figure class="image" style="display:inline-block"><img alt="" height="1024" src="https://image.dmm-corp.com/lbow9i6x6i4n927ha4458isxa95g" width="766" />
<figcaption>（上段）母親の年齢ごとの平均体重 （下段）母親の年齢ごとのデータ数</figcaption>
</figure>
</div>

<p>母親の年齢と平均体重のグラフが、なんとも言えない形になりました。30代中頃をピークに最も大きく、30代前後から遠ざかるほど小さくなるようにも見えますが、両端付近で平均体重が急激に変化しています。</p>

<p>この原因は、下段の母親の年齢とデータ数の関係を見るとわかります。データのほとんどは20代〜30代に分布しており、それ以外の年代（特に、10代前半と50代後半）はほとんどデータがありません。平均値は、データが少なければ少ないほど、外れ値の影響を大きく受けてしまいます。直感的に考えれば、母親の年齢は体力や栄養状態と関係があり、胎児の体重にも影響を与えている可能性は高いような気がしますし、この平均値が真の値に近いとは考えにくいですね。このようにデータの数に偏りがある場合には、データの質に影響が出ることがあります。MLでは、データ数が均一になるように境界を設定した離散変数に変換するなどの対処が一般的です。</p>

<p>データの鮮度にも気をつける必要があります。今回のデータセットは1969年〜2008年のデータが含まれますが、1960年代の、半世紀前の胎児のデータは、果たして2018年以降に産まれる未来の胎児の予測でも有効でしょうか。おそらく、生活習慣や母親の栄養状態、医療技術のレベルなど、出産を取り巻く環境は1960年代と現代では大きく変化しているはずで、それに影響されて胎児の体重の分布も変化しているはずです。もちろん、データできちんと確認する必要があります。もしも予測したいシチュエーションが時代による影響を強く受けるような場合は、データの鮮度に気をつけねばなりません。重要なことは、<strong>予測したいシチュエーションとデータのシチュエーションが一致する</strong>ことです。具体的な境界の決定や重み付けについては、テストを行い、より良い結果を出すものを探索する必要があります。なお、ハンズオンでは2000年以降のデータに絞って学習を行いました。</p>

<p>解析の結果、学習に用いる特徴量を決定したあとは、データの変換を行います。</p>

<p>&nbsp;</p>

<h2>データの変換</h2>

<p>データの分析を済ませられたら、学習に有効な特徴量である整形された教師データへとロー・データを変換します。古いデータのカット、不均衡なデータのバケット化、学習用と評価用にデータの分割などを行います。</p>

<p>MLでは、学習に使ったデータに対する性能は評価として適していないとみなされます。なぜなら、学習用データはモデルにとって既知のデータであるからです。実際には、未知のデータに対する予測精度を必要としているため、あらかじめ学習に使わないデータを評価用として分けておく必要があります。データの分割も、変換の処理とセットで行います。</p>

<p>また、データの分割には、年月日のハッシュを使用します。これは、シャッフルで選んでしまうと、期間をずらした時に使用するデータが変わってしまい、モデル間の厳密な比較ができなくなる可能性があるためです。データが普遍的でなく、定期的に更新する必要のあるモデルにおいては、特に気をつける必要があります。</p>

<p>今回のハンズオンでは、Apache Beamで処理を実装し、Cloud Dataflowで実行しました。結果はCSVでCloud Storage上に保存します。</p>

<div data-oembed-url="https://ai.googleblog.com/2016/06/wide-deep-learning-better-together-with.html">
<div>
<div style="left: 0; width: 100%; height: 0; position: relative; padding-bottom: 52.5384%; padding-top: 120px;"><iframe allowfullscreen="" src="//if-cdn.com/gu65Eeb?app=1" style="top: 0; left: 0; width: 100%; height: 100%; position: absolute; border: 0;" tabindex="-1"></iframe></div>
</div>
<script async="" charset="utf-8" src="//if-cdn.com/embed.js"></script></div>

<p><a href="https://ai.googleblog.com/2016/06/wide-deep-learning-better-together-with.html" target="_blank">ai.googleblog.com</a></p>

<p>TensorFlowの高レベルAPIであるEstimatorを用いて実装をします。入力となる特徴量（Feature）のカラムを定義します。</p>

<pre>
<code>import tensorflow as tf

def feature_columns():
  """ モデルの入力となる特徴量（wide, deep） """

  # 性別（カテゴリ変数: 男、女、不明）
  is_male = tf.feature_column.categorical_column_with_vocabulary_list('is_male', ['True', 'False', 'Unknown'])

  # 母親の年齢（数値変数）
  mother_age = tf.feature_column.numeric_column('mother_age')
  # バケット化した母親の年齢（カテゴリ変数）
  age_buckets = tf.feature_column.bucketized_column(mother_age, boundaries = np.arange(15,45,1).tolist())

  # 胎児数（カテゴリ変数: 1人、2人、3人、4人、5人、2人以上）
  plurality = tf.feature_column.categorical_column_with_vocabulary_list('plurality', [
    'Single(1)', 'Twins(2)', 'Triplets(3)', 'Quadruplets(4)', 'Quintuplets(5)','Multiple(2+)'
  ])

  # 妊娠週（数値変数）
  gestation_weeks = tf.feature_column.numeric_column('gestation_weeks')
  # バケット化した妊娠週（カテゴリ変数）
  gestation_buckets = tf.feature_column.bucketized_column(gestation_weeks, boundaries = np.arange(17,47,1).tolist())

  # 線形モデルに使うカテゴリ変数:
  #  性別、胎児数、バケット化した母親の年齢、バケット化した妊娠週
  wide = [
    is_male, plurality, age_buckets, gestation_buckets,
  ]

  # カテゴリ変数のクロスを埋め込み
  crossed = tf.feature_column.crossed_column(wide, hash_bucket_size=20000)
  embed = tf.feature_column.embedding_column(crossed, 3)

  # ニューラルネットワークに使う連続変数
  #  母親の年齢、妊娠週、カテゴリ変数のクロスの埋め込み
  deep = [
    mother_age,
    gestation_weeks,
    embed,
  ]
  return wide, deep</code></pre>

<p>定義した特徴量から、Wide &amp; Deepによる回帰モデルを操作するためEstimator（モデルの学習や評価、エクスポートなどを行うインターフェイス）を<code>tf.estimator.DNNLinearCombinedRegressor</code>で構築します。</p>

<pre>
<code>def train_and_evaluate(model_dir):
  wide, deep = feature_columns()
  estimator = tf.estimator.DNNLinearCombinedRegressor(
                model_dir              = model_dir,
                linear_feature_columns = wide,
                dnn_feature_columns    = deep,
                dnn_hidden_units       = [64, 32])
  train_spec = tf.estimator.TrainSpec(
                 input_fn  = read_dataset('train'),
                 max_steps = TRAIN_STEPS)
  eval_spec = tf.estimator.EvalSpec(
                input_fn = read_dataset('eval'),
                steps    = None)
  tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)</code></pre>

<p>Estimatorを実行するために必要なものを含めたPythonパッケージを作り、<code>gcloud</code>コマンドで学習ジョブを実行しましょう。Pythonのパッケージは通常どおり<code>setup.py</code>を書くだけですが、モデルの学習を実行する関数（上記例であれば<code>train_and_evaluate</code>関数）が呼び出されるモジュールを作り、学習ジョブの送信時に<code>--module-name</code>で指定する必要があることにだけ気をつけましょう。このあたりの作法については、<a href="https://cloud.google.com/ml-engine/docs/tensorflow/packaging-trainer?hl=ja" target="_blank">GCPの公式ガイド</a>を読むのが良いでしょう。</p>

<pre>
<code>$ gcloud ml-engine jobs submit training $JOBNAME \
&gt;   --region=$REGION \
&gt;   --module-name=trainer.task \
&gt;   --package-path=$(pwd)/babyweight/trainer \
&gt;   --job-dir=$OUTDIR \
&gt;   --staging-bucket=gs://$BUCKET \
&gt;   --scale-tier=STANDARD_1 \
&gt;   --runtime-version 1.4 \
&gt;   -- \
&gt;   --bucket=$BUCKET \
&gt;   --output_dir=$OUTDIR \
&gt;   --train_steps=20000</code></pre>

<p>学習が完了したら、モデルをWeb APIとして利用可能なようにデプロイします。学習ジョブの結果はCloud Storage上にあるため、そのURLを指定してコマンドを実行するだけです。</p>

<pre>
<code>$ gcloud ml-engine models create $MODEL_NAME \
&gt;   --regions $REGION
$ gcloud ml-engine versions create $MODEL_VERSION \
&gt;   --model $MODEL_NAME \
&gt;   --origin $MODEL_LOCATION \
&gt;   --runtime-version 1.4</code></pre>

<p>デプロイされたAPIを実際に呼び出してみましょう。Pythonであれば、以下のように書けます。</p>

<pre>
<code>import json

from googleapiclient import discovery
from oauth2client.client import GoogleCredentials

credentials = GoogleCredentials.get_application_default()
api = discovery.build('ml', 'v1', credentials=credentials)

body = {
  'instances': [
    {
      'is_male': 'True',
      'mother_age': 26.0,
      'plurality': 'Single(1)',
      'gestation_weeks': 39
    },
  ]
}

name = 'projects/%s/models/%s/versions/%s' % (PROJECT, MODEL_NAME, MODEL_VERSION)
response = api.projects().predict(body=body, name=name).execute()
print(json.dumps(response, sort_keys=True, indent=2))</code></pre>

<p>実行すると、以下のようにレスポンス結果が表示されます。どうやら、予測結果は約7.6ポンド（約3.4kg）であるようです。</p>

<pre>
<code>{
  "predictions": [
    {
      "predictions": [
        7.640133514404297
      ]
    }
  ]
}</code></pre>

<p>ハンズオンでは、このAPIを使ったWebアプリケーションをApp Engineでデプロイしました。</p>

<p>&nbsp;</p>

<h2>まとめ</h2>

<p>今回のハンズオンは、アプリエンジニアが参加するにはなかなかハードルの高いものであったように思いますが、業務時間内であったにも関わらず、中井さんのハンズオンを受けようと、スキルや所属を問わず社内から多くの参加者が集まりました。GCPを使うことで、面倒な環境のセットアップも不要で、すぐにモデルの開発を始めることができます。さらにはデータ変換から学習まで、特別な知識を必要とせずとも、すぐに並列に分散処理を行うことができました。アジリティを求められるML開発において、本質的なモデル開発に必要なことだけに集中できるのは、クラウドサービスの魅力ですね。</p>

<p>&nbsp;</p>


構造化されたデータをGCPでMachine Learning

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM地方創生

DMM.make AKIBA

DMM.make 3Dプリント

Seamoon Protcol by DM2C Studio

ONE DAY DESIGN

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Algoage

DMM EV CHARGE

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

Web3

研究開発

アプリ

ブロックチェーン

プラットフォーム

横断開発

インフラ

アミューズメント

同人

サーバサイド

バックエンド

フロントエンド

ネットワーク

セキュリティ

配信基盤

ペイメント

Android

データベース

ビッグデータ

フルスタック

データ分析

機械学習

プロトタイピング

グラフィックデザイン

3DCG

モーショングラフィック

プロダクトデザイン

コピーライティング

サービスデザイン

コンテンツ管理・制作

ブランディング

マーケティング

企画

編集

営業

プロモーション

構造化されたデータをGCPでMachine Learning

シェア