AWS

CloudWatchのログをダウンロードする方法|コマンドで見辛いログを全文取得

CloudWatchのログをそのまま見ようとすると、全量が多い場合とても見れたものではありません。

整形したlogや、Javaなどの冗長なログをそのまま出力していると、運用中に集計やエラーが見辛いケースに陥ると思います。

出力量が多いと、CloudWatchのブラウザ画面から手作業でロードをしまくる作業には限界があります。

本来はKibanaのような可視化ツールを使うべきなのですが、運用が未熟サービスの場合AWS CLIを使うことになります。

事前準備が必要で、Macを使っているのであれば、brew install awscliでをインストール。

ローカルに.awsフォルダを作成して、その中にaws cliの初期設定であるconfigureファイルを作成します。

## ロググループ名とログストリーム名を指定する。両方ともブラウザ画面から確認可能。
aws logs get-log-events \
  --log-group-name "ロググループ名" \
  --log-stream-name "ログストリーム名" \
  --start-from-head \
  --query "events[].[timestamp,message]" \
  --output json | jq -r '["timestamp", "message"], .[] | @csv' > ~/Downloads/log-cloudwatch-log-$(date +%s).csv

## ロググループ名がわからない場合、コマンドから確認可能。ページングなので開業で全量確認。
aws logs describe-log-groups

## 全量が多すぎる場合がグレップする。
aws logs describe-log-groups | grep "検索ワード"

 

  • この記事を書いた人

朝倉卍丸

シングルモルトスコッチなどのお土産を持ってきた人を助けるのが好きです。サービスの分割が重要ですが、まあ昔ながらの方法でやりたいこともありますよね。

よく読まれている記事

条件の0=0は全てが正であるを意味するSQL 1

SQLの条件に0=0のような記述を見かけます。 変わった書き方の条件ですが、これは「全てが正である」事を意味しており、結合条件の場合はCROSS JOINと同じです。 下記の例で言えば、結合するsub ...

DISTINCTを使わないで重複排除を考えるSQL 2

SQLのDISTINCTはEXISTSとかGROUP BYでなんとかする事もできます。 DISTINCTは暗黙的なソートがされますが、何のDBを使うにせよ過去のバージョンならともかく、最近のバージョン ...

RFC 5322に準拠させた正規表現言語別 3

RFC5322で定義されている正規表現を、各言語の正規表現に変化させた形になります。 完全な電子メール正規表現は存在しないので、結局のところ何かの公式基準に従っていたとしても、自分が携わるサービスのル ...

-AWS