サービス

ジャンル

<h2 id="はじめに">はじめに</h2>

<h3>【サムネ】比率NGのため差し替える</h3>

こんにちは！ メンバーシップサービス部 アカウントサービスチームの今井です。 
現在はアカウントサービスチームのプロダクトオーナーとして、チームが持つプロダクトの価値の最大化に務めています。 
今回は、私たちのチームでの取り組みについて紹介したいと思います。

<h2 id="アカウントサービスチームとは">アカウントサービスチームとは</h2>

DMM会員の認証と顧客情報に関連するプロダクト（認証基盤と顧客情報基盤）を開発・運用・保守するチームです。 
チームメンバーはプロダクトオーナー1名、スクラムマスター2名、開発メンバー8名（Aチーム4名、Bチーム4名ずつ）の計11名です。 
「安心・安全・シームレスに利用できる会員サービスを提供する」ことをミッションに、2019年度下期は「多要素認証の導入」「OAuth 2.0 デバイスフローの導入」「セッション管理の改善」などの施策を通して、新規会員数の向上と不正被害・離脱率の削減に取り組んでいます。

これらの施策の結果等についてはまたの機会にお話しするとして、ここからはプロダクトの運用・保守のなかで実際に最近あった課題改善の実例を１つ紹介しようと思います。

<h2 id="最近の課題改善">最近の課題改善</h2>

2019年7月に入社したチームメンバーの小西さんによる調査から改善までのエピソードです。

小西さん 
パフォーマンス改善した時とかに効果がパッとすぐに見られる仕組みがあったら良いなと思って、Kibanaでレスポンスタイム percentile ダッシュボード作ってみました！

今井 
👍

小西さん 
ピークタイムに 1％のユーザがログインに3秒かかってます。 
<img alt="" height="699" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20191001/20191001142648.png" title="" width="1200" />

適当な時間枠でレスポンスタイムの分布を見てみると、3200〜3300ミリ秒（3.2~3.3秒）あたりに小さな山があることから、何らかの原因で、「固定で3秒かかるケースがある」ということがわかります。 
<img alt="" height="736" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20191001/20191001142704.png" title="" width="1200" />

今井 
🤦

小西さん 
Datadog上でかかっている時間の内訳を見てみると、以下のとおり、ほとんどの時間が gateway.dmm.com との通信となっています。 
<img alt="" height="217" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20191001/20191001142716.png" title="" width="1146" />

ログインページでのログからも、APIのリクエストを投げてからレスポンスを受け取るまでに3秒以上かかっているのがわかりました。 
<img alt="" height="256" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20191001/20191001142726.png" title="" width="1200" />

合わせてgateway側のログを確認したところ、ログインページからのAPIのリクエストをgateway側で受け取ったのは3秒後でした。 
つまりログインページ &rarr; gateway.dmm.com の通信経路のどこかで3秒間かかる場合がありますね。 
通信経路側はインフラ部の管轄なので確認してもらいます！

今井 
🙏

小西さん 
調べてもらったら、以下の状況でした。

<blockquote>
gateway.dmm.com側にTIME_WAITのセッションが多く残っています。 
同じ送信元IP、送信元ポートで通信があった際にTIME_WAITのセッションが残っているとサーバ側がクライアント側にRSTパケットを返します。 
クライアント側は1秒後に再送(1回目)します。 
上位LBにて同じ送信元IP、送信元ポートからの通信は2秒間受け付けない設定があり 1回目の再送は破棄されます。 
その2秒後に再送(2回目)されるので合計3秒遅れます。
</blockquote>

&nbsp;

<blockquote>
・TIME_WAITをなくすには&hellip; 
TCPにはアクティブクローズとパッシブクローズがあり、HTTPヘッダConnection: closeが 指定されるとサーバ側がアクティブクローズするため TIME_WAIT が残ります。 
クライアント側がアクティブクローズすれば TIME_WAITはなくなります。
</blockquote>

ログインページ側の問題として、以下のそれぞれの理由によってLB との通信に時間がかかっていしまっている。 
- Connection: close ヘッダをつけて HTTP リクエストしている - TCP コネクションを使い回さず毎回再確立している

HTTP/1.1 では&nbsp;<a href="https://developer.mozilla.org/ja/docs/Web/HTTP/Connection_management_in_HTTP_1.x" target="_blank">デフォルトで Connection: keep-alive の挙動になる</a>&nbsp;はずですが、 
Node.js の HTTP モジュールでは 
<a href="https://nodejs.org/docs/latest-v10.x/api/http.html#http_new_agent_options" target="_blank">Connection: close かつ TCP コネクションを再利用しないのがデフォルト</a>(keepAlive: false) 
になっており、これをそのまま利用していました。

Connection: keep-alive ヘッダをつけてリクエストするように修正します！

今井 
💖

小西さん 
99th percentileで、ピークタイム時に3秒かかっていたレスポンスタイムの山が無くなりました！ 
<img alt="" height="697" itemprop="image" loading="lazy" src="https://cdn-ak.f.st-hatena.com/images/fotolife/d/dmminside/20191001/20191001142741.png" title="" width="1200" />

今井 
🙌

今井は何もしてないねというツッコミは置いておき、DatadogやKibana等のモニタリングや可視化ツールは調査時間を短縮するうえでも非常に重要ですね。 
今回の事例が同じような課題に直面している方の参考になればと思います。 
今後も石川のメンバーシップサービス部での事例や開発メンバーによる技術的な話の紹介ができればと思っていますので、乞うご期待！

<h2 id="さいごに">最後に</h2>

アカウントサービスチームは7月末に新しくなった石川事業所で勤務しております。 
新石川事業所の雰囲気は<a href="https://inside.dmm.com/entry/2019/08/08/dmm-ishikawa" target="_blank">こちら</a>で感じてください。

&nbsp;

DMMアカウントサービスチームの取り組み（レイテンシー改善）

プラットフォーム開発本部

障がい者

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMM Factory

ぷらさぷ ～＋SURPRISE～

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMM FX

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM 地方創生

DMM.make 3Dプリント

DMM.make PRODUCTS

Seamoon Protcol by DMM Crypto

DMMバヌーシー

DMM EV ON

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Waitinglist

Algoage

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

通販

レンタル

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

ハードウェア・プロダクト

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

VR体験

Web3

生成AI

研究開発

アプリ

ブロックチェーン

プラットフォーム

横断開発

社会インフラ

アミューズメント

ダイバーシティ

同人

Webエンジニア

フロントエンドエンジニア

バックエンドエンジニア

サーバーサイドエンジニア

モバイルエンジニア

SRE・インフラエンジニア

情報システム

データ・AI・機械学習エンジニア

エンジニアリングマネージャー

テックリード

プロジェクトマネージャー・ディレクター

プロダクトマネージャー

事業開発・経営企画

営業

マーケティング・プロモーション

企画・プロデュース

ゲーム企画・プロデュース

コンテンツ制作・編集

カスタマーサポート・運営

データ分析・ストラテジー

UI・UXデザイナー

Webデザイナー

2Dデザイナー・イラストレーター

デザインマネージャー

デザインリード

DMMアカウントサービスチームの取り組み（レイテンシー改善）

シェア