はじめに
こんにちは、プラットフォーム事業本部の石垣雅人(@i35_267)です。
現在は、DMM.comのサービスで利用されるプラットフォーム基盤でプロダクトオーナーを務めております。
DMM.comのサービス開発体制では、プロダクト(ex. サービス)に対してオーナーシップを持ったプロダクトチームがそれぞれ存在しています。各チームがプロダクトに責任・裁量を持っており、プロダクト戦略を考えながら日々開発しています。
今回は、そんなプロダクトがきちんとGrowthしているか、あるいはしそうかどうかを判断・予測するために適切な指標となる『データ駆動』の考え方について述べていきます。
- はじめに
- なぜ、データ戦略が必要なのか
- 優れた指標でないとデータは『駆動』しない。
- DMM.comにおけるユーザーレビュー基盤のデータ駆動について
- コホート分析・A/Bテストから仮説の糸口を見つける
- まとめ
- 最後に
なぜ、データ戦略が必要なのか
まずは、プロダクトをGrowthさせるために、なぜ『データ』というものが必要なのでしょうか？
逆に考えると、仮にデータに基づかない状態でプロダクトをGrowthさせる場合、頼るのは直感です。
もちろん、直感で仮説を立てて検証しても良いでしょう。ただし、その仮説を検証した後に効果があったかはデータがないとわからない部分が大きいです。
いずれにしても、データがあるということはプロダクトの状態を見ていくうえで大きな根拠になります。
データを使ったプロダクト戦略を行ううえで、優秀なフレームワークとして『リーンスタートアップ』といった考え方があります。リーンスタートアップの考え方はここでは詳しく説明しませんが、リーンキャンパスやBMLループなどを使って、仮説検証からデータ計測→学習を高速に回し、次の仮説を立案し、いち早くプロダクトをProduct Market Fitに到達させます。
※Product Market Fit : 市場を満足させるプロダクトが提供できたか。
こういった仮説から学習のループをすばやく回すには、どういったデータを計測してモニタリングしていくかがとても大事になってきます。 間違った指標(データ)では、学習ができないからです。
優れた指標でないとデータは『駆動』しない。
データが『駆動』するとは、データを見ることで行動につながることです。
そして、そのためには優れた指標をもとにデータを集めなければいけません。では優れた指標とはなんでしょうか？ 以下で述べていきます。
優れた指標は比較ができる
指標として出した数値が、他社と比較できたりこの時間にCV*1が上がっているなど時間軸で比較できたりする必要があります。優れた指標はわかりやすい
指標が出した数値の意味が一瞬でわからなかったりすると、組織として数値を追う文化ができにくくなります。優れた指標は比率や割合である
指標を数ではなく比率にすることで、その数値を上げていけば良いのか下げていけば良いかがわかりやすくなります。
優れた指標の種類
上で優れた指標について述べましたが、実際にどういった指標の種類や対比があるかを以下に述べていきます。
『定性的指標と定量的指標』
定量的指標とは、イメージしやすいとおり科学的な数値であらわした指標です。会員登録数や売上金額などです。ただし、この数値だけではビジネスに発展しづらいです。
そこで必要なのは定性的な観点です。主観的で感覚的なものになるかもしれませんが、ビジネスを主導するには必要な指標です。インタビューや調査を行いビジネスチャンスを伺います。 定性は『なぜ』を示し、定量は『何が』『どれだけ』を示していると言われます。まずは、定性的な指標を探すべきです。そこから定性的なものを定量的に数値に落とし込めるかを考えるべきです。
『虚栄の指標と本物の指標』
虚栄の指標とは、次の行動につながらない指標のことです。
意外に皆が指標としている部分が多いので、そこに陥らないようにするために紹介いたします。
例えば、会員登録数です。これは虚栄の指標です。なぜなら時間の経過と共に会員登録数は上がるからです。この数値を追ってもあまり意味がなく、取るのであれば同時に離脱率も取るべきです。もっというのであれば『会員登録数』ではなく『率』にしてCVR*2を取るべきです。
あくまでも次の行動に『駆動』するための数値に注目すべきで、たとえば、会員登録の関連で言えば『アクティブユーザー率』が良いでしょう。
何か仮説検証した時にこの数値に表れてくることでしょう。ユーザーアダプションに訴えかけてプロダクトを良くしていけば、必ずエンゲージメントをもたらしてくれます。
『先行指標と遅行指標』
先行指標とは、その先の未来を予測して立てる指標です。たとえば、現在までの会員登録数の遷移から、半年後はこのくらいに伸びているだろうといった予測です。
逆に遅行指標とは、問題があったことを示す指標です。たとえば、離脱数に関しては一般的にチャーンと呼ばれ『一定期間に離脱した顧客数』という位置づけです。
特にプロダクトをリリースした直後は、新規顧客はほとんどなく、このチャーンをより鮮明に計測することになります。同様に遅行指標としてユーザークレームやユーザーインタビューにより力をいれても良いでしょう。
『相関指標と因果指標』
相関とは、AとBが関係していることで因果とはAtoBの関係で原因を示しています。
たとえば、『交番の数』が多い地域ほど『犯罪件数』も多いという相関関係があります。ただし、交番の数を減らせば犯罪の件数も減るということではありません。つまり、この2つは相関関係であるが因果関係ではないということがわかります。
相関関係がわかれば、これから起こることが予測できます。そして、原因(因果関係)が見つければ、未来を変えることができます。
以上の指標の種類を参考にKPIなどの指標を決めてデータを計測すると良いでしょう。
DMM.comにおけるユーザーレビュー基盤のデータ駆動について
ここで、DMM.comにおけるユーザーレビュー基盤のデータ駆動について実例をあげたいと思います。
商品に対するレビューは、ユーザーの購入決定の強力な手がかり、動機となります。皆さんが商品コンテンツを購入する際にも、どんなレビューがされているかは購入に大きな影響をもたらしていることでしょう。
DMM.com内のサービスで使われるユーザーレビューの仕組みのほとんどは、ひとつのプロダクトチームが専門で開発、運用しています。
そうすることで、レビューデータを一元管理でき、優れた指標のKPIツリーからデータ駆動をもとに効果的な施策を行っていけます。
ここでは、上で述べた『優れた指標の種類』についてユーザーレビューでの実例を述べていきます。
ユーザーレビューにおける『定性的指標と定量的指標』
ユーザーレビューにおける定量的な指標として以下のようなものがあります。
- レビュー増加率 = レビュー投稿データ
- レビュアー増加率 = レビューを投稿するユーザー
- レビュー閲覧率 = レビューを見て商品を購入した割合(CVR)
レビューといっても、星だけの評価、コメントありの評価があります。
レビュアーでもまた、購入済みでレビュアーを書くユーザーと未購入者でレビューを書くユーザーなどで細かく数値は見ていく必要があります。
一方、定性的な指標はユーザークレームを主に分析しています。
ユーザーレビューにおける『虚栄の指標と本物の指標』
先に述べたように、虚栄の指標とは次の行動につながらない指標です。
これをユーザーレビューの分野で言うならば、レビュー増加数やレビュアー増加数などです。『率』ではなく『数』は、必然的に上がるものなのでデータを計測しても駆動しません。厳密に言うとレビュー数にも意味があり、レビューが増えるほどレビュー閲覧数 / 率も上がるのでモニタリングすべき指標でもありますが、単体で見ていてもあまり意味はありません。
ここで取るべきは、レビューの増加率やレビュアーの増加率になります。
また『レビュアーの増加率』には取るべき指標は細かくあります。
- 各月ごとの新規レビュアー数 / 率
- アクティブレビュアー数 / 率 = 週に1回でもレビューを投稿してくれるユーザー
レビュー投稿を増やすには、新規レビュアーを増やすか既存レビュアーに対してLTV*3を上げるのが有効です。
特にLTVを上げる施策を実施した際は、アクティブレビュアー数 / 率の数値が上がっていくといった予測を立てています。
また、後述しますが、コホート分析を使って以下の指標も細かく定量化していきます。
- 各月に会員登録した会員がNヶ月後に何人レビュアーになっているかの割合
レビュアーの増加というのは、プロダクトにエンゲージメントを持ってくれているかを示す重要なものなのでここは厚くデータを見ていく必要があります。
コホート分析・A/Bテストから仮説の糸口を見つける
優れた指標をもとにKPIを作成した後は、仮説を実験してプロダクトを正しくGrowthさせなければいけません。
その際、有効なのがコホート分析とA/Bテストです。
コホート分析とは、類似したユーザーグループをセグメンテーションして、時間の経過とともに比較していく手法で、ユーザーの一連のライフサイクルを繰り返し見ることができます。
例えばECサイトであれば以下のような流れがあったとします。
- 検索エンジンから『DMM.com』を検索
- DMM.comサイト内にある検索窓(キーワードから探す)から目当ての商品コンテンツを検索
- 商品コンテンツページを閲覧
- 値段、レビューの評価を見て購入を決意
- 決済手段にクレジットカードを選択して購入
などの流れがあったとします。これをコホート分析で一連のユーザー行動を可視化していた時に、その途中でビジネスモデルを変更するような施策を打った際、効果的な施策であれば、必ずコホート分析のグラフは変化します。また、ユーザーの行動を見て仮説を決めることもあるため、とても有効なデータグラフになります。
ユーザーレビューで言うならば以下のことを可視化しています。
- 各月に会員登録した会員がNヶ月後に何人レビュアーになっているかの割合
縦軸は月日で、横軸は各月に会員登録したユーザー数とNヶ月後に何人レビュアーになっているかを可視化しています。ポイントとなるのが、第三の要素として『購入してレビューを書いているかの有無』を係数として入れてることです。
これは、未購入でレビューするユーザーがどういったユーザー行動でレビューを書いているのかを調査するのにとても有効だったりします。
このようなコホート分析のことを『経時的実験』と呼びますが、一方で同時期に異なる経験をユーザーにさせて、どっちのCVRが高いかなどの反応を見る手法があります。一番有名なところではA/Bテストがあります。 AとBで2パターン用意し、ユーザーの反応を見る『横断的実験』といった手法で、多くのプロダクトで行われていますので詳しい説明は省きますが、仮説を検証する際にとても有効な手段になります。
まとめ
今回は、プロダクトをGrowthさせるうえで必要となる『データ駆動』の基礎的な考え方と、ユーザーレビュー基盤に関するデータ駆動の事例について述べさせていただきました。 プロダクトの状態を見るうえで、データはとても重要になってくると思うのでぜひ活用してみてください。
最後に
最後に採用情報をお伝えさせてください。 私がプロダクトオーナーを務めるプラットフォーム事業本部 Customer Decision Support Teamでは、一緒に働いてくれる仲間を探しています。 2018年7月に立ち上げたばかりでまだまだポテンシャルを秘めたチームです。 少しでもご興味のある方はぜひご応募ください！
また、プラットフォーム事業本部には、各プロダクトチームと連携してDMM.comの多様なビックデータからデータ分析してくれるアナリストチームが存在します。 今回のユーザーレビュー基盤のデータもアナリストチームと協力しており、日々データ戦略を立てています。そちらも採用募集しておりますので、ぜひご応募ください。
https://dmm-corp.com/recruit/engineer/7556dmm-corp.com
https://dmm-corp.com/recruit/engineer/5546?doing_wp_cron=1543129027.4543840885162353515625dmm-corp.com