サービス

技能：エンジニア

技能：デザイナー

技能：ビジネス職

技能：バックオフィス

ジャンル

<p>こんにちは、プラットフォーム開発部のmafuyukです。</p>

<p>普段はDMMで保持している会員情報やビッグデータなどから、ユーザーに対して効果的な訴求を行えるプッシュ通知基盤の開発をしています。</p>

<p>プッシュ通知の一部基盤ではAWSを利用しているのですがその中でログ収集、可視化のためにAmazon Elasticsearch Service(以後　ES)を利用しています。</p>

<p>今回はESが2017/06/01にElasticsearch version 5.3 対応したことによって便利な機能が使えるようになったので、その中からCuratorを利用したインデックスのローテートをLambdaから行う方法をご紹介します。</p>

<p>他に使えるようになった機能について気になった方は<a href="https://aws.amazon.com/jp/about-aws/whats-new/2017/06/elasticsearch-5-3-now-available-on-amazon-elasticsearch-service/" target="_blank">AWS公式サイト</a>を参照ください。</p>

<h2 id="Elasticsearchについて">Elasticsearchについて</h2>

<p>Elasticsearchは全文検索エンジンで、データベースとしても機能します。</p>

<p>利用用途としてはKibanaでのログの可視化を行う際に、Elasticsearchにデータを溜め込みKibanaから検索を走らせるという用途が多いです。</p>

<p>以下のRDBMSとの対比表をみるとなんとなく構造が見えてくるかと思います。</p>

<p>&nbsp;</p>

<p><strong>RDBMSとの対比</strong></p>

<table border="1" cellpadding="1" cellspacing="1" style="width:500px;">
	<tbody>
		<tr>
			<th style="background-color: rgb(238, 238, 238);">Elasticsearch</th>
			<th style="background-color: rgb(238, 238, 238);">RDBMS</th>
		</tr>
		<tr>
			<td>ドキュメント</td>
			<td>レコード</td>
		</tr>
		<tr>
			<td>フィールド</td>
			<td>カラム</td>
		</tr>
		<tr>
			<td>インデックス</td>
			<td>データベース</td>
		</tr>
		<tr>
			<td>タイプ</td>
			<td>テーブル</td>
		</tr>
	</tbody>
</table>

<p>&nbsp;</p>

<h2 id="今回やること">今回やること</h2>

<p>&nbsp;</p>

<p>Lambdaの関数内でCuratorのインデックス削除APIを呼び出してESの古いインデックスを削除します。</p>

<p>(インデックスを消す理由としてはデータが増えすぎた際の容量圧迫を回避するためです。ES自体にはローテートの仕組みがないため、別にローテートする仕組みを用意しないと容量圧迫が起きてしまいます。)</p>

<p>LambdaとESはIAMロールでの認証を通します。</p>

<h2 id="実際にやってみる">実際にやってみる</h2>

<h3 id="LambdaとES間疎通">LambdaとES間疎通</h3>

<h4 id="Lambdaに付与するロールの作成">Lambdaに付与するロールの作成</h4>

<p>ロールには以下のポリシーを付与してください</p>

<pre>
<code>{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Action": "sts:AssumeRole",
            "Resource": "*",
            "Effect": "Allow"
        }
    ]
}</code></pre>

<h4 id="Lambdaに付与するロールを許可するようにESのポリシーを更新">Lambdaに付与するロールを許可するようにESのポリシーを更新</h4>

<pre>
<code>{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Principal": {
        "AWS": "arn:aws:iam::************:role/your-lambda-role"
      },
      "Action": "es:*",
      "Resource": "arn:aws:es:us-west-2:************:domain/test-es53/*"
    }
  ]
}</code></pre>

<h3 id="lambdaデプロイ">lambdaデプロイ</h3>

<h4 id="zipファイル作成">zipファイル作成</h4>

<p>以下のコマンドを実行してzipファイルを用意します。 index.pyの内容に関しては適宜、置き換えを行ってください。</p>

<pre>
<code>$ mkdir RotateIndexForES
$ cd RotateIndexForES
$ pip install elasticsearch-curator -t .
$ pip install requests-aws4auth -t .
$ vim index.py
$ zip -r ../RotateIndexForES.zip *</code></pre>

<p>index.py</p>

<pre>
<code>from __future__ import print_function
from elasticsearch import Elasticsearch, RequestsHttpConnection
from requests_aws4auth import AWS4Auth
import boto3
import curator

endpoint = 'search-***************.us-west-2.es.amazonaws.com' # ESのエンドポイント

region = 'us-west-2'
rotation_period = 1 # ローテートを行う範囲
prefix = 'your-prefix-' # ローテートしたいインデックスのprefix

def lambda_handler(event, context):
    credentials = get_credential()
    awsauth = AWS4Auth(
        credentials['access_key'],
        credentials['secret_key'],
        region,
        'es',
        session_token=credentials['token']
    )

    es = Elasticsearch(
        hosts=[{'host': endpoint, 'port': 443}],
        http_auth=awsauth,
        use_ssl=True,
        verify_certs=True,
        connection_class=RequestsHttpConnection
    )
    runCurator(es)


def get_credential():
    sts_client = boto3.client('sts')
    assumedRoleObject = sts_client.assume_role(
        RoleArn="arn:aws:iam::************:role/your-lambda-role",
        RoleSessionName="Access_to_ES_from_lambda"
    )
    credentials = assumedRoleObject['Credentials']
    return {
        'access_key': credentials['AccessKeyId'],
        'secret_key': credentials['SecretAccessKey'],
        'token': credentials['SessionToken']
    }


def runCurator(es):
    ilo = curator.IndexList(es)
    ilo.filter_by_regex(kind='prefix', value=prefix)
    ilo.filter_by_age(source='creation_date', direction='older', unit='days', unit_count=rotation_period)
    delete_indices = curator.DeleteIndices(ilo)
    delete_indices.do_action()</code></pre>

<p><span style="color:#dd1500;">※ Pythonのversionは3.6を利用するので、ローカルもPython versionを3.6にしてください</span></p>

<h4 id="Lambda関数の作成">Lambda関数の作成</h4>

<p>GUIからlambda関数を作成しましょう。各設定値は以下にしてください。</p>

<ul>
	<li>ランタイム: Python3.6</li>
	<li>ハンドラ : index.lambda_handler</li>
	<li>ロール : your-lambda-role</li>
</ul>

<h4 id="zipファイルのアップロードとテスト実行">zipファイルのアップロードとテスト実行</h4>

<p>作成したzipファイルをLambdaにアップロードしテストの実行を行うとインデックスが削除されていると思います。</p>

<p>以下に例を載せてみました。今回はrotation_periodの値を1にしたので前日のインデックスだけ残るようにしました。</p>

<p><span style="color:#26a900;"><strong>Before</strong></span></p>

<p style="text-align:center"><img alt="" height="609" src="https://image.dmm-corp.com/kgdyd1crsn98as2hj6regd5qzaj0" width="800" /></p>

<p><span style="color:#26a900;"><strong>After</strong></span></p>

<p style="text-align:center"><img alt="" height="577" src="https://image.dmm-corp.com/dj8b39uo42xjcava1dcndl7rymwl" width="800" /></p>

<h2 id="まとめ">まとめ</h2>

<p>以上でCuratorを利用したESのインデックスの削除が行えるようになりました。</p>

<p>今回作成したLambdaにCloudwatch Eventsをトリガにすることでserverlessなインデックスローテートが完成します。</p>

<p>ESのインデックスローテートを行っていない方は、是非Curatorでのインデックスローテートをお試しください。</p>

<h2 id="参考">参考</h2>

<ul>
	<li><a href="http://curator.readthedocs.io/en/latest/objectclasses.html#indexlist" target="_blank">http://curator.readthedocs.io/en/latest/objectclasses.html#indexlist</a></li>
	<li><a href="https://elasticsearch-py.readthedocs.io/en/master/" target="_blank">https://elasticsearch-py.readthedocs.io/en/master/</a></li>
</ul>

<p>DMMでは一緒に開発部門を盛り上げてくれるエンジニアを募集しています！<br />
詳しくはコチラからご覧ください！</p>

<p style="text-align:center"><a href="https://dmm-corp.com/recruit/engineer/?_ga=2.66645996.350726612.1678670989-507151056.1677636534" target="_blank"><img alt="" height="345" src="https://image.dmm-corp.com/okksv77wyi4hl4uwc636utwo9t6c" width="800" /></a></p>

<p>&nbsp;</p>


AWS Elasticsearch ServiceがElasticsearch 5.3に対応したのでCuratorをLambdaから使ってみる

プラットフォーム開発本部

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMM Factory

DMM FILMS

ぷらさぷ ～＋SURPRISE～

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMM FX

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM 地方創生

DMM.make 3Dプリント

DMM.make PRODUCTS

Seamoon Protcol by DMM Crypto

DMMバヌーシー

DMM EV ON

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Waitinglist

Algoage

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

通販

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

ハードウェア・プロダクト

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

VR体験

Web3

生成AI

研究開発

アプリ

ブロックチェーン

プラットフォーム

横断開発

社会インフラ

アミューズメント

ダイバーシティ

同人

サーバサイド

バックエンド

フロントエンド

ネットワーク

セキュリティ

ITインフラ

配信基盤

ペイメント

Android

データベース

ビッグデータ

データ分析

機械学習（ML）

MLOps

VR開発

フルスタック

プロトタイピング

グラフィックデザイン

イラスト作成

3DCG

モーショングラフィック

AWS Elasticsearch ServiceがElasticsearch 5.3に対応したのでCuratorをLambdaから使ってみる

シェア