サービス

技能：エンジニア

技能：デザイナー

技能：ビジネス職

技能：バックオフィス

ジャンル

<h2 id="はじめに">はじめに</h2>

<p>こんにちは、DMMで機械学習エンジニアをしている二見です。 2020年に新卒で入社し、普段は検索やレコメンドの改善に従事しています。</p>

<p>DMMでは50を超えるサービスを提供しており、様々なデジタルコンテンツを取り扱っています。 また、各サービスには多くのユーザーの膨大なデータが日々蓄積されてます。 我々のグループでは、それらのビックデータを活用した改善施策を行うことで、各事業部の成長に日々貢献しております。</p>

<p>本記事では、新たにディープニューラルネットワークベースの先端的なレコメンドシステムを構築し、サービスに導入した事例を紹介したいと思います。 レコメンドエンジンの導入を検討している方・ニューラルネットベースのレコメンドに興味がある方の参考になれば幸いです。</p>

<h2 id="DMMにおけるレコメンドへの取り組み">DMMにおけるレコメンドへの取り組み</h2>

<p>我々のグループでは、ユーザーの購買促進のためにレコメンドを各サービスに提供しています。 弊グループではEKSクラスター上にレコメンド開発基盤を構築しており、データの前処理からモデルの学習・推論までをバッチ処理することで、日々レコメンドを生成しています。</p>

<p><img alt="f:id:dmminside:20220318122106p:plain" height="624" src="https://image.dmm-corp.com/dn74yg1fganhhiuacqg2zkjop800" width="1200" /></p>

<p>本記事で取り扱うレコメンドは「あなたへのおすすめ」としてユーザーごとに作品を推薦するのものです。 これらのレコメンドにはユーザーの閲覧ログや購買ログといったImplicit Feedbackを学習データとして用いております。 従来のレコメンドはSparkベースのレコメンドになっており、Spark上で利用できる機械学習ライブラリであるSparkMLのALSを採用したレコメンドとなっています。</p>

<h2 id="背景">背景</h2>

<p>これまで弊グループが運用していたレコメンドには課題がありました。 それはレコメンドアルゴリズムがSparkMLに依存しており改善策の幅が狭まっていたことです。 Sparkは非常に優れた分散処理フレームワークではありますが、SparkMLで利用できるアルゴリズムには限りがあります。 これまではレコメンドの実装手段がSparkMLのみであったため、選択肢も狭まり新しい改善案を出すことが難しい状況になっていました。</p>

<p>一方で近年のトレンドとして、画像認識や自然言語処理で幅広く活用されているディープニューラルネットワークがレコメンド分野にも応用されつつあります。 ニューラルネットベースのアルゴリズムだと、さまざまなデータを柔軟に取り扱うことができるのも大きなメリットです。</p>

<p>これらの背景から、今回新しい枠用に用意したレコメンドアルゴリズムではEKS Cluster上にGPUを動かせる環境を作り、Tensorflow Recommendersを利用したディープニューラルネットベースのレコメンドアルゴリズムを構築することにしました。</p>

<h2 id="Tensorflow-Recommendersとは">Tensorflow Recommendersとは</h2>

<p>Tensorflow RecommendersとはTensorflowをベースとしたレコメンドシステムの構築に特化したライブラリです。 tf.kerasをベースとしてレコメンドモデルを簡潔に定義でき、複雑なモデルも柔軟に構築できます。</p>

<p><a href="https://www.tensorflow.org/recommenders" target="_blank">TensorFlow Recommenders</a></p>

<p>Tensorflow Recommendersを利用するメリットとして、以下の2つが挙げられます。</p>

<p><img alt="f:id:dmminside:20220318122217p:plain" height="705" src="https://image.dmm-corp.com/s3lrlsnsqxumqbw56r1ghnmx7j7e" width="1200" /></p>

<h3 id="1-Tensorflowベースで扱いやすい">1. Tensorflowベースで扱いやすい</h3>

<p>1つはTensorflowベースでモデルを定義でき、非常に扱いやすい点です。 特にtf.kerasだとモデルへ入力するために必要な前処理もレイヤーとして定義でき、生データを入力としたend-to-endでのモデルの構築が可能です。</p>

<p><a href="https://www.tensorflow.org/guide/keras/preprocessing_layers?hl=ja" target="_blank">前処理レイヤーを使用する | TensorFlow Core</a></p>

<p>Tensorflow Recommendersの<a href="https://www.tensorflow.org/Recommenders/examples/basic_retrieval?hl=ja#implementing_a_model" target="_blank">チュートリアル</a>にあるように、user_idの埋め込みモデルも以下のようにして簡単に定義できます。</p>

<pre>
<code>user_model = tf.keras.Sequential([
  tf.keras.layers.StringLookup(
      vocabulary=unique_user_ids, mask_token=None),
  tf.keras.layers.Embedding(len(unique_user_ids) + 1, embedding_dimension)
])</code></pre>

<h3 id="2-ScaNNが使える">2. ScaNNが使える</h3>

<p>2つ目はScaNNによる効率的なベクトル類似検索ができることです。 ScaNN(Scalable Nearest Neighbors)とはGoogleが発表した近似最近傍探索(ANN)手法の1つで、大規模なデータにおいても高速に類似ベクトルを探索できます。 2020年に発表されたばかりの比較的新しい手法ではありますが、Tensorflow Recommendersでは<a href="https://www.tensorflow.org/recommenders/api_docs/python/tfrs/layers/factorized_top_k/ScaNN" target="_blank">tfrs.layers.factorized_top_k.ScaNN</a>としてAPIが提供されています。</p>

<p><a href="https://ai.googleblog.com/2020/07/announcing-scann-efficient-vector.html" target="_blank">Announcing ScaNN: Efficient Vector Similarity Search</a></p>

<p>従来のレコメンドではユーザーとアイテムのベクトルからナイーブな方法によって全ての組み合わせの計算を行い、レコメンドを生成しておりました。 しかし、我々の扱うサービスには非常に多くのユーザーと配信作品があるためこれらの方法では計算コストもかかり、非効率な状態でした。 これらの問題はScaNNを利用することによって、スコアリングする候補集合を絞り込むことができます。</p>

<h2 id="実装で工夫したところ">実装で工夫したところ</h2>

<p>今回は、Tensorflow Recommendersのチュートリアルにある<a href="https://www.tensorflow.org/recommenders/examples/multitask" target="_blank">Multi-task Recommenders</a>をベースに実装を行いました。</p>

<p>実装において、特に工夫した点は学習データの入力パイプラインと推論部分です。</p>

<h3 id="学習データの入力パイプライン">学習データの入力パイプライン</h3>

<p>扱うデータが大規模なことから、弊グループではETLにはSparkを採用しており、データをparquetファイルとして保存しています。 そこで、parquetファイルを<code>tf.data.Dataset</code>で読み込むためにpetastormを用いることにしました。 petastormはUber製のライブラリで、parquet形式のデータセットをTensorFlow、PyTorch、PySparkで扱うことができます。</p>

<p><a href="https://github.com/uber/petastorm" target="_blank">Petastorm</a></p>

<pre>
<code>from petastorm import make_batch_reader
from petastorm.tf_utils import make_petastorm_dataset

with make_batch_reader(dataset_path) as train_reader:

    train_dataset = make_petastorm_dataset(train_reader)\
        .unbatch()\
        .map(preprocess, num_parallel_calls=tf.data.AUTOTUNE)\
        .shuffle(train_size)\
        .batch(hparams['batch_size'])\
        .prefetch(buffer_size=tf.data.AUTOTUNE)\
        .cache()

    model.fit(train_dataset, epochs=10)</code></pre>

<p>上記のようにして<code><span style="background-color:#ffa800;">tf.data.Dataset</span></code>形式でparquetファイルを読み込むことができます。</p>

<p>また、<code><span style="background-color:#ffa800;">tf.data.Dataset</span></code>を扱う際には以下の点で注意が必要です。大規模なデータではパフォーマンスに大きく影響します。</p>

<ul>
	<li>map()を行う際には<code><span style="background-color:#ffa800;">num_parallel_calls</span></code>を指定し、非同期で並列処理させる</li>
	<li>prefetch()で次のステップで入力するデータを準備しておく</li>
</ul>

<p>いずれも、<code><span style="background-color:#ffa800;">tf.data.AUTOTUNE</span></code>を指定してあげることで値を動的に調整してくれます。</p>

<p>tf.dataのパフォーマンスについてより詳細を知りたい方はぜひ、ドキュメントを一読しておくことをおすすめします。</p>

<p><a href="https://www.tensorflow.org/guide/data_performance" target="_blank">tf.dataAPIによるパフォーマンスの向上</a></p>

<h3 id="推論">推論</h3>

<p>次に推論部分ですが、推論も含めすべてSparkクラスタ上で完結させたかったため、以下のようなpandas_udfを定義し、分散推論を行っています。</p>

<pre>
<code>from typing import Iterator
import pandas as pd
import pyspark.sql.functions as F
import pyspark.sql.types as T 

def predict_func(model_path):

  @F.pandas_udf(T.StructType([
      T.StructField("items", T.ArrayType(T.StringType()), True),
      T.StructField("scores", T.ArrayType(T.FloatType()), True),
  ]))
  def predict(iter: Iterator[pd.Series]) -&gt; Iterator[pd.DataFrame]:
    import tensorflow as tf
    import tensorflow_recommenders as tfrs

    model = tf.saved_model.load(model_path)
    for x in iter:
      y = model.predict(x)
      yield pd.DataFrame({
          'items': y['items'].numpy().tolist(),
          'scores': y['scores'].numpy().tolist(),
      })

  return predict</code></pre>

<p><code><span style="background-color:#ffa800;">user_id</span></code>を入力として、<code><span style="background-color:#ffa800;">item_id</span></code>とその<code><span style="background-color:#ffa800;">score</span></code>が返ってくるモデルを定義しておき、saved_model形式に保存しておきます。 以下のようなuser_idを含むテーブルがあった場合には、このようにして推論できます。</p>

<pre>
<code>df.printSchema()
df.show()
"""
root
 |-- user_id: string (nullable = true)

+-------+
|user_id|
+-------+
| user_A|
| user_B|
| user_C|
+-------+
"""

df = df.withColumn('y', predict_func(model_path)('user_id'))\
  .withColumn('exploded', F.explode(F.arrays_zip(F.col('y.items'), F.col('y.scores'))))\
  .select(F.col('user_id'), F.col('exploded.0').alias('item_id'), F.col('exploded.1').alias('score'))\
df.printSchema()
df.show()

"""
root
 |-- user_id: string (nullable = true)
 |-- item_id: string (nullable = true)
 |-- score: float (nullable = true)

+---------+---------+-------+
|  user_id|  item_id|  score|
+---------+---------+-------+
|   user_A|   item_a|   3.43|
|   user_A|   item_b|   2.36|
|   user_B|   item_c|   6.34|
|   user_B|   item_a|   3.27|
|   user_C|   item_b|   6.87|
|   user_C|   item_e|   5.84|
+---------+---------+-------+
"""</code></pre>

<p>これらの推論結果に対して購買済みの作品を除くなど細かな後処理を施し、各ユーザーごとのレコメンドを生成しています。</p>

<h2 id="まとめ">まとめ</h2>

<p>今回はTensorflow Recommendersを活用して、既存のレコメンドから一新したニューラルネットワークベースのレコメンドの実装例をご紹介しました。 本記事ではユーザーに作品を推薦する、User2Itemレコメンドの改善に焦点を当てました。 Item2Itemレコメンドのような作品から作品を推薦する場合にでも、今回のようにTensorflow Recommendersを活用してアルゴリズムの一新ができると考えています。 User2Itemレコメンドについても、ユーザー特徴量やアイテムのコンテキスト特徴量など加えることでさらに改善できる余地もあるかと思います。</p>

<p>また、弊グループが提供しているレコメンドはDMMのサービスの様々な箇所にされております。 各サービスによってドメインが大きく異なるため、サービスそれぞれにフィットしたレコメンドが求められます。 今回の事例を参考に、今後もよりよいレコメンド体験をユーザーに提供できればと思います。</p>

<h2 id="おわりに">おわりに</h2>

<p>今回は、新たにTensorflow Recommendersを活用してレコメンドアルゴリズムを一新した話をしました。 レコメンドは大規模なデータになるほど扱いが難しくなりますが、Tensorflow Recommendersはそれらの障壁を取り除く様々な機能が実装されています。 また、Tensorflow Recommendersは2020年にリリースされたばかりなので今後の新たな機能にも注目していきたいです。</p>

<p>最後に、DMM Groupでは一緒に働いてくれる仲間を募集しています。ご興味のある方はぜひ募集ページをご確認ください!!</p>

<p><a href="https://inside.dmm.com/entry/2021/12/23/growthscience">データサイエンスを駆使した事業成長を手がける「Growth Scienceグループ」の正体とは？ - DMM inside</a></p>


大規模サービスで効率よくレコメンドを提供するためにTensorflow Recommendersを活用する

シェア

一緒に働く仲間を募集しています！

関連する求人

関連する記事