サービス

技能：エンジニア

技能：デザイナー

技能：ビジネス職

技能：バックオフィス

ジャンル

<blockquote>
<p>この記事は、<a href="https://qiita.com/advent-calendar/2021/dmm" target="_blank">DMMグループ Advent Calendar 2021</a>&nbsp;7日目の記事です。</p>
</blockquote>

<p>ITインフラ本部SRE部の小野輝也が担当します。</p>

<p>DMMが扱うサービスでは日々多くのログが出力され、それらはフィルタリングや加工の後に様々な場所に転送されていきます。転送されたログは分析や障害調査に利用されるため、サービスの性質や目的に沿ったログ基盤を構築することは、サービスの品質向上に関わる重要なタスクとなります。</p>

<p>私が担当している事業部では、利用するロギングサービスとしてCloudwatch LogsからNewRelic Logsへの移行を行いました。理由は次の通りです。</p>

<ul>
	<li>NRQLによる高度な検索が可能</li>
	<li>Logs in Contextを活用することでAPMとの連携が可能</li>
	<li>Cloudwatch Logsよりログ挿入・維持コストが低い（クラウド費用のおよそ1/5がCloudwatch Logsにかかっていましたが、NewRelic Logsに移行することで1/20ほどに圧縮できます）</li>
</ul>

<p>ログを出力するアプリケーションサーバはECS Fargateで稼働していたため、移行に際してfirelensを活用しました。本記事では、ECS FargateからNewRelic logsにログ送信する際の落とし穴と対処法について紹介します。</p>

<h2>firelens</h2>

<p>firelensは、ECSのタスク定義で指定するだけで簡単に利用できるログルーターです。fluent-bitまたはfluentdと共に動作し、どちらを利用するか選択することができます。 firelensのコンテナをアプリケーションコンテナのサイドカーとして同じタスクに乗せる構成が一般的です。</p>

<p>次の図は、アプリケーションコンテナが出力するログがどのようにfirelensコンテナに送信されるかを示した図になります。アプリケーションコンテナの標準出力ログは、DockerのfluentdログドライバによりDockerデーモンを通してfirelensのコンテナへと転送されます。</p>

<p><img alt="f:id:dmmadcale2021:20211125142829p:plain" height="639" src="https://image.dmm-corp.com/dtphpgxctn4rsi7m9up9ezdh4fnv" width="1191" /></p>

<p style="text-align: center;">dockerログドライバを使ったログの転送</p>

<p>&nbsp;</p>

<p>ログを生成するアプリケーションコンテナではコンテナ定義に次のように記述します。</p>

<pre>
<code>"logConfiguration": {
    "logDriver":"awsfirelens"
}</code></pre>

<p>fluent-bitを利用する場合、firelensコンテナのコンテナ定義には次のように記述します。optionsで追加のfluent-bitの設定ファイルを指定することが可能で、これはデフォルトの設定ファイルから追加で読み込まれます。</p>

<pre>
<code>"firelensConfiguration": {
    "type": "fluentbit",
    "options": {
        "config-file-type": "file",
        "config-file-value": "/fluent-bit.conf"
    }
},</code></pre>

<p>NewRelicにログを転送する場合はnrlogs OUTPUTを利用するため、fluent-bitの設定ファイルは次のようになります。なお、<code><span style="background-color:#ffa800;">$NEWRELIC_LICENSE</span></code>は有効なライセンスに書き換える必要があります。</p>

<pre>
<code>[OUTPUT]
    Name          nrlogs
    Match         *
    license_key   $NEWRELIC_LICENSE</code></pre>

<h2>Dockerのログドライバを利用する際の落とし穴</h2>

<p>Dockerのログドライバには、大きなサイズのログが送信されてきた場合、16KBごとに分割して転送するといった仕様があります。そのため、日本語のようなマルチバイト文字が分割されると、ログの中に非文字のバイトが残ってしまう可能性があります。このような表示できないバイト列を含むログを送信した場合のログ基盤サービスの挙動はさまざまであり、Cloudwatch Logsでは�（代替文字）で表示されますが、NewRelic Logsでは挿入時にエラーとなります。</p>

<p>次のようなクエリでエラーを確認できます。</p>

<pre>
<code>SELECT * FROM NrIntegrationError</code></pre>

<p>不完全なバイト列を含むログがLogs APIに送信されている場合、次のようなエラーが検索結果として返ってきます。</p>

<pre>
<code>Error unmarshalling message payload</code></pre>

<h2>対処法</h2>

<p>このように分割されてしまうとNewRelicにログを送信することができません。これには次のような2通りの解決策が考えられます。</p>

<ol>
	<li>firelensコンテナで受け取ったログを結合して送信する</li>
	<li>Dockerのログドライバを迂回してfirelensコンテナでログを送信する</li>
</ol>

<p>1の手法は<a href="https://github.com/aws/aws-for-fluent-bit/issues/25" target="_blank">このIssue</a>で議論されているように、まだ不足している部分があり簡単には利用できないようです。 そのため、今回は2の方法について解説します。</p>

<h2>Dockerログドライバの迂回</h2>

<p>先程の図にあった通り、firelensのコンテナへログを送信するために使える経路はいくつかあります。そのうちログドライバを使わず直接firelensに送信するためには、次の2つの手法が考えられます。</p>

<ol>
	<li>コンテナ間通信で送信する</li>
	<li>コンテナ間で共有ボリュームを利用する</li>
</ol>

<h2>コンテナ間通信を使ったログ転送</h2>

<p>firelensのコンテナはfluentd/fluent-bitのプロトコルでリッスンするようなデフォルト設定が組み込まれています。さらに、<code><span style="background-color:#ffa800;">&quot;logDriver&quot;:&quot;awsfirelens&quot;</span></code>を指定したアプリケーションコンテナには、<code><span style="background-color:#ffa800;">FLUENT_HOST</span></code><span style="background-color:#ffa800;">と</span><code><span style="background-color:#ffa800;">FLUENT_PORT</span></code>という環境変数が自動で定義されるため、この変数を使うことで、firelensのコンテナに直接ログを送信できます。</p>

<p>アプリケーションの標準出力ログは<a href="https://github.com/fluent/fluentd/blob/master/bin/fluent-cat" target="_blank">fluent-cat</a>や<a href="https://github.com/teru01/fluent-cat-go" target="_blank">fluent-cat-go</a>にパイプラインで繋ぐことで送信します。</p>

<pre>
<code>./main | fluent-cat-go -H $FLUENT_HOST -p $FLUENT_PORT mytag</code></pre>

<h2>ボリュームを使ったログ転送</h2>

<p>もう1つの方法はECSのタスクストレージをコンテナ間で共有することで転送します。アプリケーションコンテナはバインドマウントされた領域にログを書き込み、firelensコンテナからはtail INPUTを使ってログを読み出します。</p>

<p>タスク定義は次のようになります。</p>

<pre>
<code>{
    "family": "sample",
    ...
    "volumes": [
        {
            "name": "log_volume"
        }
    ]
    ...
    "containerDefinitions": [
        {
            "name": "app",
            "image": "app-image-name:${TAG}",
            "logConfiguration": {
                "logDriver":"awsfirelens"
            },
            "mountPoints": [
                {
                    "sourceVolume": "log_volume",
                    "containerPath": "/var/log/mylog"
                }
            ]
        },
        {
            "name": "firelens",
            "image": "firelens:${TAG}",
            "firelensConfiguration": {
                "type": "fluentbit",
                "options": {
                    "config-file-type": "file",
                    "config-file-value": "/fluent-bit.conf"
                }
            },  
            "mountPoints": [
                {
                    "sourceVolume": "log_volume",
                    "containerPath": "/var/log/mylog"
                }
            ],
        }
    ]
    ...
}</code></pre>

<p>アプリケーションコンテナのDockerfileにはVOLUMEディレクティブを追加する必要があります。ここに書かれたパスがコンテナ定義にある<code><span style="background-color:#ffa800;">mountPoints.containerPath</span></code>と一致する場合、コンテナ内のファイルがデータボリュームに公開されます。 デフォルトではこのディレクトリの所有者はrootになっているため、必要に応じて変更します。</p>

<pre>
<code># ログ領域
RUN mkdir /var/log/mylog &amp;&amp; chown www-data:www-data -R /var/log/mylog
VOLUME ["/var/log/mylog"]</code></pre>

<p>アプリケーションの標準出力ログはこのボリュームのファイルに吐き出すように変更します。例えば次のようになります。</p>

<pre>
<code>./main &gt; /var/log/mylog/log</code></pre>

<p>fluent-bitの設定ファイルにはtail INPUTの設定を記述することでログを読み込みます。</p>

<pre>
<code>[INPUT]
    Name              tail
    Path              /var/log/mylog/log
    Buffer_Chunk_Size 50M
    Buffer_Max_Size   200M
    Mem_Buf_Limit     200M
    Refresh_Interval  5
    Tag               app-tag</code></pre>

<p>実際のサービスではこちらの共有ボリュームを利用する方針を採用しました。コンテナ間通信を使う方針だと、firelensコンテナへの転送ツールをイメージに含める必要がある、転送ツールの内部バッファをチューニングする必要がある、など考慮すべき点が増えるといったデメリットを考えてそのようにしました。</p>

<p>なお、タスクストレージの容量は限られているため、必要に応じてログローテーションの仕組みを導入する必要があります。</p>

<h2>まとめ</h2>

<ul>
	<li>長いログを出力するときはDockerのログドライバによる分割にうまく対処する必要がある</li>
	<li>Dockerログドライバを回避する方法としてコンテナ間通信による転送、タスクストレージによる転送が考えられる</li>
</ul>


サービス

技能：エンジニア

技能：デザイナー

技能：ビジネス職

技能：バックオフィス

ジャンル

その他

ECS + firelensで大きなサイズのログをNewRelicに転送する

シェア

関連する記事