Kubernetes Observability Stack ハンズオン

# 新規作成の場合
eksctl create cluster \
  --name observability-handson \
  --version 1.33 \
  --region ap-northeast-1 \
  --nodegroup-name workers \
  --node-type t3.large \
  --nodes 2 \
  --managed

# 既存クラスターへの接続
aws eks update-kubeconfig --name <クラスター名> --region ap-northeast-1

kubectl create namespace monitoring
kubectl create namespace observability
kubectl create namespace hotrod

helm repo add prometheus-community https://prometheus-community.github.io/helm-charts
helm repo add open-telemetry https://open-telemetry.github.io/opentelemetry-helm-charts
helm repo add jaegertracing https://jaegertracing.github.io/helm-charts
helm repo add cert-manager https://charts.jetstack.io
helm repo update

kubectl apply -n hotrod -f - <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hotrod
  namespace: hotrod
spec:
  replicas: 1
  selector:
    matchLabels:
      app: hotrod
  template:
    metadata:
      labels:
        app: hotrod
    spec:
      containers:
      - name: hotrod
        image: jaegertracing/example-hotrod:latest
        args: ["all"]
        env:
        - name: OTEL_EXPORTER_OTLP_ENDPOINT
          value: "http://otel-collector.observability.svc.cluster.local:4317"
        ports:
        - containerPort: 8080
          name: frontend
        - containerPort: 8081
          name: customer
        - containerPort: 8082
          name: route
        - containerPort: 8083
          name: driver
---
apiVersion: v1
kind: Service
metadata:
  name: hotrod
  namespace: hotrod
spec:
  selector:
    app: hotrod
  ports:
  - name: frontend
    port: 8080
    targetPort: 8080
EOF

kubectl get pods -n hotrod -w

Pod が Running になるまで待ちます。この時点では OTel Collector がまだないため、アプリは起動しますが接続エラーのログが出ます（正常）。

helm install kube-prom prometheus-community/kube-prometheus-stack \
  --namespace monitoring \
  --set grafana.adminPassword="HandsOn2024!" \
  --set grafana.service.type=ClusterIP \
  --set prometheus.prometheusSpec.retention=1d \
  --set alertmanager.enabled=false

インストールに 2〜3 分かかります。

kubectl get pods -n monitoring -w

以下の Pod が Running になるのを確認します。

• kube-prom-grafana-xxx
• kube-prom-kube-prometheus-stack-prometheus-xxx
• kube-prom-kube-state-metrics-xxx
• kube-prom-prometheus-node-exporter-xxx（各ノードに 1 つ）

別のターミナルで以下を実行してポートフォワードします。

kubectl port-forward -n monitoring svc/kube-prom-grafana 3000:80

ブラウザで http://localhost:3000 を開きます。

helm install cert-manager cert-manager/cert-manager \
  --namespace cert-manager \
  --create-namespace \
  --set installCRDs=true

# 起動確認（1〜2 分待つ）
kubectl get pods -n cert-manager

helm install opentelemetry-operator open-telemetry/opentelemetry-operator \
  --namespace observability \
  --set manager.collectorImage.repository=otel/opentelemetry-collector-contrib

kubectl rollout status deployment/opentelemetry-operator-controller-manager \
  -n observability

OTLP でトレースを受信し、Jaeger に転送するコレクターを作成します（Jaeger は次のステップで作成）。

kubectl apply -n observability -f - <<'EOF'
apiVersion: opentelemetry.io/v1beta1
kind: OpenTelemetryCollector
metadata:
  name: otel-collector
  namespace: observability
spec:
  mode: Deployment
  config:
    receivers:
      otlp:
        protocols:
          grpc:
            endpoint: 0.0.0.0:4317
          http:
            endpoint: 0.0.0.0:4318
    processors:
      batch:
        timeout: 1s
    exporters:
      otlp/jaeger:
        endpoint: jaeger.observability.svc.cluster.local:4317
        tls:
          insecure: true
      debug:
        verbosity: basic
    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: [batch]
          exporters: [otlp/jaeger, debug]
EOF

kubectl get pods -n observability

otel-collector-collector-xxx Pod が Running になれば OK です。

kubectl apply -n observability -f - <<'EOF'
apiVersion: apps/v1
kind: Deployment
metadata:
  name: jaeger
  namespace: observability
spec:
  replicas: 1
  selector:
    matchLabels:
      app: jaeger
  template:
    metadata:
      labels:
        app: jaeger
    spec:
      containers:
      - name: jaeger
        image: jaegertracing/all-in-one:latest
        env:
        - name: COLLECTOR_OTLP_ENABLED
          value: "true"
        ports:
        - containerPort: 16686
          name: ui
        - containerPort: 4317
          name: otlp-grpc
        - containerPort: 4318
          name: otlp-http
        - containerPort: 14250
          name: grpc
---
apiVersion: v1
kind: Service
metadata:
  name: jaeger
  namespace: observability
spec:
  selector:
    app: jaeger
  ports:
  - name: ui
    port: 16686
    targetPort: 16686
  - name: otlp-grpc
    port: 4317
    targetPort: 4317
  - name: otlp-http
    port: 4318
    targetPort: 4318
  - name: grpc
    port: 14250
    targetPort: 14250
EOF

kubectl port-forward -n observability svc/jaeger 16686:16686

ブラウザで http://localhost:16686 を開きます。「Service」セレクターが空の状態で表示されれば正常です。

kubectl port-forward -n hotrod svc/hotrod 8080:8080

ブラウザで http://localhost:8080 を開きます。配車サービスの UI が表示されます。

HotROD の UI で 「Rachel's Floral Designs」 などのボタンを 5〜10 回クリックします。各クリックが 1 つのトレースを生成します。

# curl でリクエストをループ送信
for i in $(seq 1 20); do
  curl -s "http://localhost:8080/dispatch?customer=123&nonse=0.6308022493951762" > /dev/null
  sleep 1
done

Grafana（http://localhost:3000）で 「Dashboards」→「Browse」 を開き、以下のダッシュボードを確認します。

Grafana の「Explore」画面で PromQL クエリを試します。

# HotROD の CPU 使用率
rate(container_cpu_usage_seconds_total{namespace="hotrod"}[5m])

# メモリ使用量（バイト）
container_memory_working_set_bytes{namespace="hotrod"}

# Pod の再起動回数
kube_pod_container_status_restarts_total{namespace="hotrod"}

Grafana の「Alerting」→「Alert rules」を開くと、kube-prometheus-stack が事前に定義した Kubernetes 向けアラートルールが確認できます。

Jaeger UI（http://localhost:16686）の左パネルで以下を設定します。

「Find Traces」 をクリックします。

表示されたトレースをクリックして詳細を開きます。ウォーターフォール図で以下を確認します。

• 各サービス（frontend → customer → driver → route）の呼び出し順序
• 各スパンの所要時間（遅いサービスを特定）
• スパンのタグ（HTTP メソッド、ステータスコード、DB クエリ等）

Jaeger UI のメニューから 「System Architecture」→「DAG」 を開きます。サービス間の依存関係がグラフで表示されます。

# 並列リクエストを送信
for i in $(seq 1 50); do
  curl -s "http://localhost:8080/dispatch?customer=392&nonse=$(python3 -c 'import random; print(random.random())')" > /dev/null &
done
wait

Grafana の「Kubernetes / Compute Resources / Namespace (Pods)」ダッシュボードで hotrod 名前空間を選択します。CPU・メモリの急増が確認できます。

Jaeger UI で「Min Duration」に 500ms を設定して検索します。遅いリクエストのトレースに絞り込み、どのスパン（サービス）がボトルネックかを特定します。

kubectl delete pod -n hotrod -l app=hotrod --force

Grafana のダッシュボードで Pod の再起動回数メトリクスが増加することを確認します。

kubectl delete namespace hotrod

kubectl delete opentelemetrycollector otel-collector -n observability

kubectl delete deployment jaeger -n observability
kubectl delete service jaeger -n observability

helm uninstall opentelemetry-operator -n observability

helm uninstall kube-prom -n monitoring

CRD も削除する場合（監視スタックを完全削除）:

kubectl delete crd \
  alertmanagerconfigs.monitoring.coreos.com \
  alertmanagers.monitoring.coreos.com \
  podmonitors.monitoring.coreos.com \
  probes.monitoring.coreos.com \
  prometheuses.monitoring.coreos.com \
  prometheusrules.monitoring.coreos.com \
  servicemonitors.monitoring.coreos.com \
  thanosrulers.monitoring.coreos.com

helm uninstall cert-manager -n cert-manager
kubectl delete namespace cert-manager

kubectl delete namespace monitoring observability

eksctl delete cluster --name observability-handson --region ap-northeast-1