サービス

ジャンル

職種：エンジニア

職種：ビジネス職

職種：デザイナー

職種：バックオフィス

職種：その他職種

技術

<h2>はじめに</h2>

<p>はじめまして！DMMのML基盤チームの上田亮です。 2023年に新卒として入社し、検索やレコメンドのインフラ基盤の開発に携わっています。</p>

<p>私たちのチームでは、DMMの数百万を超えるコンテンツを情報検索や機械学習を使ってユーザーにパーソナライズして届けるための検索・レコメンド基盤を構築しています。<br />
基盤は主にAPIとバッチの用途で2つのKubernetesクラスタ(EKS) を軸としたAWS環境で構成されています。バッチ基盤では、DMMグループ全体で利用しているデータ分析基盤からデータの抽出・加工・機械学習などを適用し、 その結果をデータストレージに定期的に書き込むバッチジョブを実行しています。API基盤では、ユーザーリクエストに対しデータストレージから取り出したデータをもとにレスポンスを返すWeb APIサーバを提供しています。</p>

<p>現在、データ分析基盤がAWSからGCPへ移行したことに伴い、バッチ基盤をGCPに移行する取り組みを行っています。新しいデータ分析基盤ではDWHとしてBigQueryを利用しており、バッチジョブで必要な機械学習の特徴量作成などのデータ加工を、分散処理によって高速で行うことができます。本記事では、一例として、テキストの前処理においてよく用いられる形態素解析をBigQuery Remote Functionsで実装した方法を紹介しようと思います。</p>

<h2>Remote Functionsについて</h2>

<p>BigQuery Remote Functionsは、Cloud FunctionsやCloud RunをBigQueryのSQLの関数として呼び出す機能です。任意の言語・ライブラリを使って関数を実行できるため、SQLだけでは難しい柔軟な処理が可能になります。</p>

<p>テキストデータの分かち書きにBigQuery Remote Functionsを採用した理由としては、バッチに必要なデータは全てBigQueryに保存されていることから、データ処理のインターフェイスをできるだけSQLに統一し、実装をシンプルにするためです。これにより、BigQueryの大量のコンピュートリソースの恩恵を受けることもできます。また、頻繁に使用する形態素解析処理を共通の関数にすることで、一元管理する目的もあります。</p>

<h2>Cloud RunによるAPIの実装</h2>

<p>形態素解析エンジンには、MeCabを用いました。APIの実装には、MeCabとNEologd辞書をインストールしたコンテナイメージを利用するために、Cloud Runを採用し、Python、FastAPIを用いて実装しました。</p>

<p>工夫した点は、任意の単語を含むユーザー辞書を利用可能にしたことです。これは、NEologd辞書ではカバーできない、弊社のサービスに特有の表現を含む重要な語彙を抽出する必要があったためです。Remote functionsへのリクエストには、user_defined_context というユーザー定義のcontextを設定することで、Cloud Runの挙動を動的に制御することができます。今回の実装では、user_defined_context にユーザー辞書に登録したい単語リストを設定できるようにしました。弊社では動画や電子書籍など多くのサービスを抱えていますが、それぞれのサービスで特有の単語が異なります。そのため、同一のエンドポイントを参照しつつ、ユーザー辞書ごとに異なるRemote Functionsを作成する運用にしています。</p>

<p>リクエスト例: BigQueryからRemote Functionsが呼ばれると、callsにBigQueryのレコードに対応する文字列の配列が入ってきます。</p>

<pre>
<code class="language-json">{ 
    "requestId": "124ab1c", 
     "caller": "//bigquery.googleapis.com/projects/myproject/jobs/myproject:US.bquxjob_5b4c112c_17961fafea",
     "sessionUser": "test-user@test-company.com", 
     "userDefinedContext": {
         "userDictWords": "A/Bテスト,最近傍探索",  
     }, 
     "calls": [
        ["近似最近傍探索によるベクトル検索エンジン"],
        ["検索改善を支えるA/Bテストインフラアーキテクチャ"]    
    ]
}</code></pre>

<p>レスポンス例: 形態素解析の結果をrepliesに配列として格納して返すことで、BigQueryのレコードとして受け取ることができます。</p>

<pre>
<code class="language-json">{  
  "replies": [
    ["近似\t名詞,サ変接続,*,*,*,*,近似,キンジ,キンジ","最近傍探索\t名詞,一般,*,*,*,*,*,*,*,ユーザー辞書","による\t助詞,格助詞,連語,*,*,*,による,ニヨル,ニヨル","ベクトル\t名詞,一般,*,*,*,*,ベクトル,ベクトル,ベクトル","検索エンジン\t名詞,固有名詞,一般,*,*,*,検索エンジン,ケンサクエンジン,ケンサクエンジン","EOS",""],
    ["検索\t名詞,サ変接続,*,*,*,*,検索,ケンサク,ケンサク","改善\t名詞,サ変接続,*,*,*,*,改善,カイゼン,カイゼン","を\t助詞,格助詞,一般,*,*,*,を,ヲ,ヲ","支える\t動詞,自立,*,*,一段,基本形,支える,ササエル,ササエル","A/Bテスト\t名詞,一般,*,*,*,*,*,*,*,ユーザー辞書","インフラ\t名詞,一般,*,*,*,*,インフラ,インフラ,インフラ","アーキテクチャ\t名詞,一般,*,*,*,*,アーキテクチャ,アーキテクチャ,アーキテクチャ","EOS",""]
}</code></pre>

<h2>Remote Functionsの作成</h2>

<p>Remote FunctionsはBigQueryのUDFと同じような方法で作成することができます。TerraformのGCP provider version 5.19.0から、google_bigquery_routineリソースでRemote Functionsがサポートされるようになりました。これにより、以下のようにRemote FunctionsのリソースをTerraform管理することができます。ユーザー辞書として利用したい単語は、単語をカンマ区切りの文字列としてuser_defined_contextに設定します。</p>

<pre>
<code class="language-bash">resource "google_bigquery_routine" "remote_functions" {
  dataset_id = ${google_bigquery_dataset.this.dataset_id}
  routine_id = "wakati"
  routine_type = "SCALAR_FUNCTION"
  arguments {
    name = "sentence"
    data_type = jsonencode({
      typeKind : "STRING"
    })
  }
  return_type = "{\"typeKind\" :  \"JSON\"}"

  remote_function_options {
    endpoint             = data.google_cloud_run_service.mecab_api.status[0].url
    connection           = "projects/${var.project_id}/locations/us/connections/cloud-run"
    user_defined_context = { "user_dict_words" : "noun1,noun2" }
  }
}</code></pre>

<h2>実行</h2>

<p>実際に稼働中のデータパイプラインで、約30万レコード、合計1.2億文字のテキストデータに対し形態素解析処理を行ってみました。</p>

<p>Cloud Runのリソースは以下のように設定しています。</p>

<ul>
	<li>CPU: 2vCPU&nbsp;</li>
	<li>メモリ: 4GiB</li>
	<li>インスタンスあたりの最大同時リクエスト数：20</li>
</ul>

<p>Cloud Runのアクティブなコンテナインスタンス数の推移を表したグラフを以下に示します。最大で一時的に32インスタンスまでスケールアウトしていることがわかります。クエリの実行は、わずか5分程度で完了しました。Cloud Runの最小インスタンス数は0に設定しているため、コールドスタートを考慮しても高速に処理できているのではないでしょうか。</p>

<p style="text-align:center"><img alt="" height="414" src="https://image.dmm-corp.com/xr95231szk6ma71y1g5nbz76q0ql" width="500" /></p>

<h2><br />
まとめ</h2>

<p>今回は、BigQuery Remote Functionsを使用した形態素解析の事例について紹介しました。データの前処理をBigQueryに統一しつつ、複雑な前処理を行うことが可能になりました。簡単に作成することができ、想定していたよりも処理速度が速かったので、共通化できそうな他の処理もRemote Functionsとして切り出していきたいです。</p>

<p>本記事の内容は、私たちML基盤チームが日々行っている取り組みのほんの一部です。機会があれば、基盤の全体構成についても詳細をお伝えしたいと思います！</p>


横断開発

ビッグデータ

アドベントカレンダー2023

BigQuery Remote Functionsによる形態素解析

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMM Factory

ぷらさぷ ～＋SURPRISE～

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMM FX

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM 地方創生

DMM.make 3Dプリント

DMM.make PRODUCTS

Seamoon Protcol by DMM Crypto

DMMバヌーシー

DMM EV ON

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Waitinglist

Algoage

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

通販

レンタル

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

ハードウェア・プロダクト

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

VR体験

Web3

生成AI

研究開発

アプリ

ブロックチェーン

プラットフォーム

社会インフラ

アミューズメント

ダイバーシティ

同人

Webエンジニア

フロントエンドエンジニア

バックエンドエンジニア

サーバーサイドエンジニア

モバイルエンジニア

SRE・インフラエンジニア

情報システム

データ・AI・機械学習エンジニア

エンジニアリングマネージャー

テックリード

プロジェクトマネージャー・ディレクター

プロダクトマネージャー

事業開発・経営企画

営業

マーケティング・プロモーション

企画・プロデュース

ゲーム企画・プロデュース

コンテンツ制作・編集

カスタマーサポート・運営

データ分析・ストラテジー

UI・UXデザイナー

Webデザイナー

2Dデザイナー・イラストレーター

デザインマネージャー

デザインリード

BigQuery Remote Functionsによる形態素解析

シェア

一緒に働く仲間を募集しています！

関連する求人

関連する記事