S3 + Athena + Kinesis Firehose ハンズオン

📋 概要

このハンズオンでは、Kinesis Data Firehose を使ってストリームデータを Amazon S3 に自動配信し、AWS Glue Data Catalog でスキーマを定義し、Amazon Athena でサーバーレス SQL 分析を行うパイプラインを構築します。大量ログの長期保存・低コスト分析の基礎を学べます。

🏗️ アーキテクチャ

データフォーマット（JSON）

今回のハンズオンでは以下の JSON 形式のアクセスログを想定します。

{
  "timestamp": "2024-01-15T10:23:45Z",
  "method": "GET",
  "path": "/api/products",
  "status_code": 200,
  "response_time_ms": 142,
  "user_agent": "Mozilla/5.0",
  "client_ip": "203.0.113.5",
  "bytes_sent": 2048
}

✅ 前提条件

• AWS アカウントにログイン済みであること
• Kinesis、S3、Glue、Athena の読み書き権限を持つ IAM ユーザーであること
• リージョンを ap-northeast-1（東京） に固定すること

🪣 ステップ 1 ― S3 バケットの作成

ログデータを保存するバケットと Athena クエリ結果用バケットを作成します。

🚀 ステップ 2 ― Kinesis Data Firehose 配信ストリームの作成

ログデータを受け取り S3 に自動配信するストリームを設定します。

📤 ステップ 3 ― テストデータの投入

Firehose にサンプルデータを送信して S3 への配信を確認します。

{"timestamp":"2024-01-15T10:23:45Z","method":"GET","path":"/api/products","status_code":200,"response_time_ms":142,"user_agent":"Mozilla/5.0","client_ip":"203.0.113.5","bytes_sent":2048}
{"timestamp":"2024-01-15T10:23:47Z","method":"POST","path":"/api/orders","status_code":201,"response_time_ms":320,"user_agent":"Mozilla/5.0","client_ip":"203.0.113.10","bytes_sent":512}
{"timestamp":"2024-01-15T10:23:50Z","method":"GET","path":"/api/products/42","status_code":404,"response_time_ms":28,"user_agent":"curl/7.68.0","client_ip":"198.51.100.5","bytes_sent":128}
{"timestamp":"2024-01-15T10:23:55Z","method":"GET","path":"/api/users","status_code":500,"response_time_ms":5432,"user_agent":"Mozilla/5.0","client_ip":"192.0.2.20","bytes_sent":256}

📚 ステップ 4 ― AWS Glue Data Catalog にテーブルを定義する

Athena で SQL クエリを実行するために、S3 のデータに対してスキーマを定義します。

CREATE DATABASE IF NOT EXISTS handson_logs_db;

CREATE EXTERNAL TABLE IF NOT EXISTS handson_logs_db.access_logs (
  `timestamp`        string,
  `method`           string,
  `path`             string,
  `status_code`      int,
  `response_time_ms` int,
  `user_agent`       string,
  `client_ip`        string,
  `bytes_sent`       int
)
PARTITIONED BY (
  year  string,
  month string,
  day   string,
  hour  string
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES (
  'serialization.format' = '1'
)
LOCATION 's3://handson-logs-<your-account-id>/logs/'
TBLPROPERTIES ('has_encrypted_data' = 'false');

MSCK REPAIR TABLE handson_logs_db.access_logs;

SHOW PARTITIONS handson_logs_db.access_logs;

DESCRIBE handson_logs_db.access_logs;

🔎 ステップ 5 ― Amazon Athena で SQL 分析を行う

Athena でサンプルクエリを実行し、ログを多角的に分析します。

基本クエリ

① 全データを確認する

SELECT *
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01' AND day = '15'
ORDER BY timestamp DESC
LIMIT 20;

② HTTP ステータスコード別の件数

SELECT
  status_code,
  COUNT(*) AS request_count
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
GROUP BY status_code
ORDER BY request_count DESC;

③ エラーリクエスト（4xx / 5xx）の一覧

SELECT
  timestamp,
  method,
  path,
  status_code,
  response_time_ms,
  client_ip
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
  AND status_code >= 400
ORDER BY timestamp DESC
LIMIT 50;

④ レスポンスタイムが遅いリクエスト Top 10

SELECT
  timestamp,
  method,
  path,
  status_code,
  response_time_ms
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
ORDER BY response_time_ms DESC
LIMIT 10;

⑤ パス別のリクエスト数と平均レスポンスタイム

SELECT
  path,
  COUNT(*)                           AS request_count,
  ROUND(AVG(response_time_ms), 0)   AS avg_response_ms,
  MAX(response_time_ms)              AS max_response_ms,
  SUM(bytes_sent)                    AS total_bytes
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
GROUP BY path
ORDER BY request_count DESC;

⑥ クライアント IP 別のアクセス数（上位 10 件）

SELECT
  client_ip,
  COUNT(*) AS request_count,
  SUM(bytes_sent) AS total_bytes_sent
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
GROUP BY client_ip
ORDER BY request_count DESC
LIMIT 10;

⑦ 時間帯別リクエスト数（ピーク時間分析）

SELECT
  hour,
  COUNT(*) AS request_count,
  ROUND(AVG(response_time_ms), 0) AS avg_response_ms
FROM handson_logs_db.access_logs
WHERE year = '2024' AND month = '01'
GROUP BY hour
ORDER BY CAST(hour AS int);

⚡ ステップ 6 ― パーティション自動追加の設定

継続的にデータが追加される本番環境では、パーティションを自動で登録する仕組みが必要です。

方法 A: AWS Glue クローラーを使う

方法 B: Athena の MSCK REPAIR を定期実行

{
  "Statement": "MSCK REPAIR TABLE handson_logs_db.access_logs"
}

パフォーマンス最適化のヒント

🧹 クリーンアップ

削除手順（逆順で実施）

1. Glue クローラーを削除（作成した場合）
   Glue → クローラー → handson-logs-crawler を選択 → 「削除」
2. Athena テーブルとデータベースを削除
   Athena のクエリエディタで実行:

   DROP TABLE IF EXISTS handson_logs_db.access_logs;
   DROP DATABASE IF EXISTS handson_logs_db;

3. Kinesis Firehose 配信ストリームを削除
   Kinesis → Data Firehose → handson-access-logs-stream → 「削除」
4. S3 バケットを削除
   S3 → バケットを選択 → 「空にする」でオブジェクトを全削除 → 「削除」
   ※ handson-logs-* と handson-athena-results-* の両方を削除
5. IAM ロールを削除（自動作成されたもの）
   IAM → ロール → KinesisFirehoseServiceRole-*、AWSGlueServiceRole-* を確認して削除

学習のまとめ