サービス

ジャンル

<p>こんにちは。ITインフラ本部 SRE部の河村です。私が所属するSRE部では、Site Reliability Engineeringの観点から、グループを横断してシステムの信頼性を向上させる取り組みを行っています。いわゆるCCoE(Cloud Center of Excellence) としての活動も行いながらグループ内のパブリッククラウド利活用の推進・改善も担当しています。今回はアカウント管理効率化の一環として、<a href="https://aws.amazon.com/jp/organizations/" target="_blank">AWS Organizations</a>を用いて通知処理をSlackへ共通化した話をご紹介します。</p>

<h2 dir="auto">DMMにおけるAWS利用状況</h2>

<p dir="auto">DMMでは、多くのサービスがAWSで稼働しています。各サービスは、サービスごと（あるいは環境ごと）にAWSアカウントを保有しており、担当するエンジニアリングチームによって開発・運用が行われています。技術選定やアーキテクチャなどはチームごとに委ねられていることから、エンジニアにとっては自由度が高く、裁量を持って作れる良さがあります。同様にアカウント管理や運用効率化のために必要な諸タスクもチームごとに委ねられていることから、同じようなものを各チームが個別実装しているという状況が続いていました。</p>

<p dir="auto">サービス担当のエンジニアリングチームは、本来はサービス開発や運用に集中すべきで、可能な限り処理の共通化が望ましいです。そこで<a href="https://aws.amazon.com/jp/organizations/" target="_blank">AWS Organizations</a>を用いて、ニーズが高い&ldquo;通知処理の共通化&rdquo;、提供を推進しています。</p>

<h2 dir="auto">共通処理の実装</h2>

<p dir="auto">AWSでは、複数のAWSアカウントを組織単位で管理できる「<a href="https://aws.amazon.com/jp/organizations/" target="_blank">AWS Organizations</a>」というサービスが用意されています。組織内のアカウントをグループ化し、ポリシーの適用、リソースの一元管理を組織全体で行えます。例として&ldquo;AWS利用料金通知の実装&rdquo;を紹介します。システムコスト通知は、サービス運用において重要な情報であり、また共通化ニーズが非常に高いです。</p>

<p dir="auto">アカウントごとに通知内容をカスタムできるように設定ファイルに必要な情報を持たせ、それを元に通知処理を行うことにします。設定ファイルに保存されたアカウント情報などを元にコスト情報を並列処理で取得し、通知する処理を実装します。このような処理実装にはさまざまな手法があると思いますが、「<a href="https://aws.amazon.com/jp/step-functions/" target="_blank">AWS Step Functions</a>」「<a href="https://aws.amazon.com/jp/lambda/" target="_blank">AWS Lambda</a>」を使うと、手軽にWorkflowを実装できます。</p>

<p dir="auto">設定ファイルは以下のイメージです。通知内容をアカウントごとにカスタムできるようにパラメータを用意します。「週次でコスト通知してくれるとうれしい」というニーズも存在するので、事業別に設定できるように設定ファイルはGoogle Spreadsheetなどを使って事業側で編集と反映を可能にしています。</p>

<pre>
<code class="language-json">[
  {
    "AccountId": "___your_account_id___",
    "Description": "hogehoge service staging env",
    "ChannelIds": [
      "ABCDEFGHI"
    ],
    "Currency": "JPY",
    "Granularity": [
      "DAILY"
    ],
    "CostTags": ""
  },
  ...(略
]</code></pre>

<p dir="auto">Step Functionsで作るWorkflowは以下のようになります。設定ファイルに記載された対象アカウントをStep FunctionsのMapステートメントで呼び出し、並列実行します。今回のユースケースでは対象データが大量ではないものの、StepFunctions + Lambdaの組み合わせは、大規模データ処理に対応可能なソリューションのひとつとして注目しています。今後、ほかのユースケースでも活用できそうです。</p>

<p style="text-align:center"><img alt="workflow_screenshot" height="562" src="https://image.dmm-corp.com/my23gnegg9qipj5m3yjrltnsdrr5" width="475" /></p>

<h2 dir="auto">コスト取得</h2>

<p dir="auto">AWSのコスト情報は、「<a href="https://docs.aws.amazon.com/ja_jp/cost-management/latest/userguide/ce-api.html" target="_blank">AWS Cost Explorer API</a>」を使って取得できます。AWS Organizationsメンバーアカウントからデータを取得するには、LINKED_ACCOUNTというパラメータにAccount Idを取得するように実装します。Lambdaコードは以下となります。返却されたレスポンスを整形して通知します。</p>

<pre>
<code class="language-python">def get_cost_report(account_id, start_date, end_date, filter_tags_condition):
    """
    指定された期間のコストレポートを取得
    Parameters:
    - account_id (str): AWSアカウントID
    - start_date (datetime.date): レポートの開始日
    - end_date (datetime.date): レポートの終了日
    - filter_tags_condition (list): タグによる絞り込み条件(Optional)
    Returns:
    - dict: コストと使用量の情報
    """

    query = {
        'TimePeriod': {
            'Start': start_date.strftime('%Y-%m-%d'),
            'End': end_date.strftime('%Y-%m-%d')
        },
        'Granularity': 'DAILY',
        'Metrics': ['BlendedCost'],
        'GroupBy': [
            {
                'Type': 'DIMENSION',
                'Key': 'SERVICE'
            }
        ]
    }

    if filter_tags_condition:
        query['Filter'] = {
            'And': [
                {
                    'Dimensions': {
                        'Key': 'LINKED_ACCOUNT',
                        'Values': [account_id]
                    }
                }
            ]
        }
        for filter_tag in filter_tags_condition:
            query['Filter']['And'].append({'Tags': filter_tag})
    else:
        query['Filter'] = {
            'Dimensions': {
                'Key': 'LINKED_ACCOUNT',
                'Values': [account_id]
            }
        }

    session  = get_sts_session()
    client   = session.client('ce', region_name='us-east-1')
    response = client.get_cost_and_usage(**query)
    return response</code></pre>

<p>できたStep Functionを、「<a href="https://aws.amazon.com/jp/eventbridge/scheduler/" target="_blank">Amazon EventBridgeスケジューラ</a>」などで定期実行すれば&hellip;&hellip;。</p>

<p style="text-align:center"><img alt="screenshot_report" height="638" src="https://image.dmm-corp.com/ceqejud7rvqkko0wr6sd3ke0ifsa" width="800" /></p>

<p>上のような形で、コスト通知を受信できるようになります。（今回は割愛しますが、実際には事前にSlack側でアプリ設定などが必要です）</p>

<h2>まとめ</h2>

<p dir="auto">今回は、ITインフラ本部 SRE部のCCoE的な活動の一例として<a href="https://aws.amazon.com/jp/organizations/" target="_blank">AWS Organizations</a>を用いた共通処理の実装について、中でもコスト通知をご紹介しました。ほかのサービス運用に有用な情報通知も、同様の仕組みで提供していくことを進めています。AWSが提供する通知機能で十分な場合もありますが、通知内容をカスタマイズしつつ、処理の実装・実行は共通化すると、より効率よく事業や組織のニーズに応えられるのではないでしょうか。</p>

<p dir="auto">現在、積極的な採用活動を行っています。CcoEまたはSRE的なアプローチで横断的にDMMサービスを改善していく仕事にご興味がある方、ぜひエントリーをご検討ください。</p>


AWS利用状況のSlack通知処理を共通化した話

プラットフォーム開発本部

障がい者

facebook

twitter

DMM TV

DMMブックス

DMM pictures

DMM GAMES

DMMオンクレ

DMMスクラッチ

DMMくじ

DMM Factory

ぷらさぷ ～＋SURPRISE～

DMMオンラインサロン

DMMいろいろレンタル

DMM DVD／CDレンタル

DMM通販

DMMオンラインクリニック

デジタルコミック事業

DMMチャットブースト

DMM英会話

DMM FX

DMMかりゆし水族館

ベルリング

ハッシャダイソーシャル

ヤンキーインターン

シント=トロイデンVV

DMM 地方創生

DMM.make 3Dプリント

DMM.make PRODUCTS

Seamoon Protcol by DMM Crypto

DMMバヌーシー

DMM EV ON

DMM WEBCAMP

DMMぱちタウン

DMM競輪

Waitinglist

Algoage

DMMポイントクラブ

社会課題

エンターテインメント

動画

電子書籍

アニメ

ゲーム

アプリゲーム

コミュニティ

オンラインサロン

PCゲーム

通販

レンタル

オンラインイベント

ビジネスソリューション

教育

英会話

水族館

ハードウェア・プロダクト

救急車両

消防車両

モノづくり施設

サッカー

スポーツ

地方創生

VR体験

Web3

生成AI

研究開発

アプリ

ブロックチェーン

プラットフォーム

横断開発

社会インフラ

アミューズメント

ダイバーシティ

同人

Webエンジニア

フロントエンドエンジニア

バックエンドエンジニア

サーバーサイドエンジニア

モバイルエンジニア

SRE・インフラエンジニア

情報システム

データ・AI・機械学習エンジニア

エンジニアリングマネージャー

テックリード

プロジェクトマネージャー・ディレクター

プロダクトマネージャー

事業開発・経営企画

営業

マーケティング・プロモーション

企画・プロデュース

ゲーム企画・プロデュース

コンテンツ制作・編集

カスタマーサポート・運営

データ分析・ストラテジー

UI・UXデザイナー

Webデザイナー

2Dデザイナー・イラストレーター

デザインマネージャー

デザインリード

AWS利用状況のSlack通知処理を共通化した話

シェア