AWS DevOps Agent 自律型インシデント対応 ハンズオン

マネジメントコンソールで Lambda → 「関数の作成」→ 以下の設定で作成します。

作成後、コードエディタに以下を貼り付けて「Deploy」します。

import random
import json
import logging

logger = logging.getLogger()
logger.setLevel(logging.INFO)

def lambda_handler(event, context):
    # 約 60% の確率でエラーを発生させる
    if random.random() < 0.6:
        logger.error("ERROR: Simulated application failure - connection timeout to downstream service")
        raise Exception("Downstream service unavailable: connection timed out after 30s")

    logger.info("Request processed successfully")
    return {
        'statusCode': 200,
        'body': json.dumps('OK')
    }

CloudWatch コンソール → 「アラーム」→「アラームの作成」で以下の設定を入力します。

通知（SNS）は任意で設定し、「アラームの作成」をクリックします。

Lambda を一度手動実行（「テスト」タブ）すると、CloudWatch Logs のロググループ /aws/lambda/devops-agent-demo が自動作成されます。DevOps Agent はこのロgsを調査に使用します。

# AWS CLI でテスト実行（ランダムでエラーが発生）
aws lambda invoke \
  --function-name devops-agent-demo \
  --payload '{}' \
  response.json \
  --region us-east-1
cat response.json

DevOps Agent がトレースデータも参照できるよう、Lambda の「設定」→「モニタリングおよびオペレーションツール」→「AWS X-Ray トレース」→「有効化」をオンにします。

AWS マネジメントコンソールで「DevOps Agent」を検索し、コンソールを開きます。初回は「エージェントスペースの作成」ボタンが表示されます。

「プライマリアカウントアクセスの設定」セクションで 「新しい AWS DevOps エージェントロールを自動作成する」 を選択します（推奨）。

• 自動作成されるロールには、CloudWatch・CloudTrail・Lambda・X-Ray・EC2 などへの読み取り権限が含まれます
• ロール名はデフォルトのまま（または任意の名前に変更）で構いません

「エージェントスペースウェブアプリの有効化」セクションでも同様に 「新しいロールを自動作成」 を選択します。このロールは、オペレーターが Web App にアクセスするための認証に使用されます。

すべて入力したら「作成」をクリックします。数秒〜数十秒で Agent Space が作成されます。

Agent Space 詳細ページの 「オペレーターアクセス」 ボタンをクリックします。IAM 認証が行われ、新しいタブで Web App が開きます。

以下のスクリプトを実行し、約 2 分間にわたって 20 回呼び出します（約 60% がエラーなので 12 回程度エラーが発生します）。

# Bash（Mac / Linux / CloudShell）
for i in $(seq 1 20); do
  aws lambda invoke \
    --function-name devops-agent-demo \
    --payload '{}' \
    /tmp/resp.json \
    --region us-east-1 2>&1 | tail -1
  sleep 5
done

# PowerShell（Windows）
1..20 | ForEach-Object {
  aws lambda invoke `
    --function-name devops-agent-demo `
    --payload '{}' `
    $env:TEMP\resp.json `
    --region us-east-1
  Start-Sleep -Seconds 5
}

CloudWatch コンソール → 「アラーム」で Lambda-ErrorRate-High が 「アラーム状態（赤）」 に変わるまで待ちます（通常 2〜3 分）。

# CLI でアラーム状態を確認
aws cloudwatch describe-alarms \
  --alarm-names Lambda-ErrorRate-High \
  --region us-east-1 \
  --query 'MetricAlarms[0].StateValue'

Web App の左メニューから 「インシデント対応」 → 「調査の開始」 をクリックします。

事前設定された開始点から 「エラー率の急増」 ボタンをクリックします。説明フィールドに自動でテキストが入力されます。

入力後、「調査を開始する...」 をクリックします。

調査が開始されると、まず トリアージ が行われます。DevOps Agent は以下の 3 つの決定のいずれかを行います。

トリアージ後、エージェントは調査計画（Investigation Plan）を自動生成します。典型的な計画の例：

• CloudWatch アラーム Lambda-ErrorRate-High の詳細を取得する
• Lambda 関数 devops-agent-demo のエラーログを分析する
• エラーのタイムラインと頻度パターンを確認する
• 最近のコード変更・デプロイ履歴を確認する
• X-Ray トレースで失敗したリクエストを分析する

調査計画に沿って、エージェントが自律的に AWS API を呼び出してデータを収集・分析します。ログには以下のような内容が表示されます。

• CloudWatch から直近のエラーメトリクスを取得
• CloudWatch Logs から /aws/lambda/devops-agent-demo のエラーメッセージを検索
• エラーの発生パターン（時間・頻度）を分析
• X-Ray トレースで失敗リクエストのスタックトレースを確認

分析が完了すると、根本原因（Root Cause Analysis） レポートが生成されます。今回のデモ環境では以下のような内容が期待されます。

• 根本原因: Lambda 関数 devops-agent-demo でランダムな例外が発生。エラーメッセージ「Downstream service unavailable: connection timed out after 30s」が確認された
• 影響範囲: 直近 X 分間で Y 回のエラー、エラー率 Z%
• 証拠: CloudWatch Logs の具体的なエラーメッセージとタイムスタンプ

根本原因に基づいて、エージェントが推奨アクションをリスト化します。

• ダウンストリームサービスへの接続タイムアウト設定を見直す
• エクスポネンシャルバックオフを実装して再試行ロジックを改善する
• サーキットブレーカーパターンを実装する
• Dead Letter Queue（DLQ）を設定して失敗リクエストを保全する

調査ページの 「人間によるサポートを依頼」 をクリックすると、調査ログ・メトリクス・緩和計画を含む AWS サポートケースを自動作成できます。

DevOps Agent コンソール → 作成した Agent Space を選択 → 「削除」をクリックします。削除すると調査履歴・統合設定・スキルもすべて削除されます。

Lambda コンソール → devops-agent-demo → 「削除」をクリックします。

CloudWatch コンソール → 「アラーム」→ Lambda-ErrorRate-High を選択 → 「削除」をクリックします。

aws logs delete-log-group \
  --log-group-name /aws/lambda/devops-agent-demo \
  --region us-east-1

IAM コンソールで、Agent Space 作成時に自動作成されたロール（名前に DevOpsAgent を含む）を削除します。再利用しない場合のみ削除してください。