MENU

問い合わせ

    お問い合わせ


    【Laravel+Vue.jsで作る管理画面をECSで動かす 第12回】運用編:ログ・監視・スケーリング・切り戻し

    連載の最終回です。ここまでで、管理画面を ECS で動かし、GitHub Actions から自動でデプロイできるようになりました。最後に、動かし続けるための仕組みとして、アラーム(監視)、オートスケーリング(台数の自動調整)、ECS Exec(稼働中のコンテナでの調査)、失敗したデプロイの自動の切り戻しを加えます。あわせて、12回の内容と、本番運用の前に残っている作業、AWS の費用の構造をまとめます。

    「システムは完成したけれど、公開した後に何かあったとき、誰がどうやって気づいて、どう戻すのかが決まっていない…」

    結論から言うと、運用の仕組みは「利用者より先に気づくアラーム」「負荷に合わせて台数を変えるオートスケーリング」「壊れたデプロイを自動で戻すサーキットブレーカー」「調べ方と戻し方を書いた手順書」の4点セットで考えます。コードで作れるのは前の3つで、4つ目の手順書と「誰がアラームを受けるか」は、発注者と開発会社で決める運用のルールです。

    (2026年10月29日 追記:記事どおりに再現できるよう、必要なコードと手順を追加しました)

    前回(第11回:GitHub Actions で CI/CD)では、OIDC を使ったテストとデプロイの自動化を作りました。新しく作るファイルは全文を、すでにあるファイルは変更箇所を差分で載せています。

    これまでと同じく、執筆環境には AWS アカウントがないため terraform apply は行っておらず、アラームの通知や ECS Exec、切り戻しを AWS 上で試してはいません。terraform validate と AWS に接続しない plan、ローカルの Docker でのアプリ側の動作確認までを行っています。

    目次

    運用のために追加するもの

    ファイル内容
    infra/terraform/monitoring.tfSNS(メール通知)、アラーム10個、ログからのメトリクス、よく使うログ検索の保存
    infra/terraform/autoscaling.tfweb サービスのオートスケーリング(CPU の目標追跡)
    infra/terraform/ecs_{web,worker,scheduler}.tfデプロイサーキットブレーカー、ECS Exec の有効化
    infra/terraform/iam.tfECS Exec のためのタスクロールの権限
    routes/console.phpスケジューラの heartbeat(5分ごとのログ)
    app/Console/Commands/CreateUser.php最初の管理者ユーザーを作るコマンド
    .github/workflows/deploy.yml切り戻しが起きたらワークフローを失敗にする確認ステップ
    docs/runbook.mdアラームを受けたときの確認・調査・切り戻しの手順書

    アラーム:利用者より先に気づく

    何を見張るか

    アラームは、SNS(=AWS の通知サービス)のトピックに送り、メールで受け取ります。見張る対象は、画面・裏の処理・アプリ・DB の4つに分けました。

    対象アラーム気づけること
    画面正常な web タスクが 0 台画面が完全に止まった
    画面ALB の 5xx(ALB 自身・アプリ)エラー画面が出ている
    画面web の CPU が高い状態が続く台数の上限に達して遅くなっている
    裏の処理いちばん古いジョブが10分以上処理されないworker が止まっている
    裏の処理DLQ にメッセージがある処理できなかったジョブがある(第10回)
    裏の処理スケジューラの heartbeat が15分出ない締め処理などの定期実行が止まっている
    アプリLaravel の ERROR 以上のログが増えた例外や外部サービスの失敗
    DBRDS の CPU、空きストレージ重いクエリ、容量不足

    infra/terraform/monitoring.tf を新しく作ります。全文は次のとおりです(クリックで開きます)。以下、抜き出して説明します。

    infra/terraform/monitoring.tf の全文(262行)
    # infra/terraform/monitoring.tf
    # 監視:アラーム → SNS(メール)、ログからのメトリクス、よく使うログ検索(第12回)
    #
    # 「利用者より先に気づく」ための最小限のアラーム。しきい値は運用しながら調整する。
    #
    #   画面        : ALB の 5xx、正常なタスクが 0 台、web の CPU
    #   裏の処理    : ジョブが滞留している(worker 停止)、DLQ にメッセージ、スケジューラの heartbeat が途絶えた
    #   アプリ      : Laravel の ERROR 以上のログ
    #   DB          : RDS の CPU、空きストレージ
    
    resource "aws_sns_topic" "alarms" {
      name = "${local.name_prefix}-alarms"
    }
    
    # メールで受け取る(登録後に届く確認メールのリンクを押すまで通知されない)。チャットに送る場合は別途設定する
    resource "aws_sns_topic_subscription" "alarm_email" {
      for_each = toset(var.alarm_emails)
    
      topic_arn = aws_sns_topic.alarms.arn
      protocol  = "email"
      endpoint  = each.value
    }
    
    locals {
      alarm_actions = [aws_sns_topic.alarms.arn]
    }
    
    # ---------- 画面(ALB・web) ----------
    
    # アプリが 5xx を返した(Laravel の例外など)
    resource "aws_cloudwatch_metric_alarm" "alb_target_5xx" {
      alarm_name          = "${local.name_prefix}-alb-target-5xx"
      alarm_description   = "web タスクが 5 分間に ${var.alarm_5xx_threshold} 件以上の 5xx を返した。CloudWatch Logs の /ecs/${local.name_prefix}/web を確認する"
      namespace           = "AWS/ApplicationELB"
      metric_name         = "HTTPCode_Target_5XX_Count"
      dimensions          = { LoadBalancer = aws_lb.main.arn_suffix }
      statistic           = "Sum"
      period              = 300
      evaluation_periods  = 1
      threshold           = var.alarm_5xx_threshold
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching" # リクエストが無い時間はデータが無い=正常
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # ALB 自身が 5xx を返した(502/503:正常なタスクが無い、タスクが応答しない)
    resource "aws_cloudwatch_metric_alarm" "alb_elb_5xx" {
      alarm_name          = "${local.name_prefix}-alb-elb-5xx"
      alarm_description   = "ALB が 5 分間に ${var.alarm_5xx_threshold} 件以上の 5xx を返した。ECS の web サービスのタスクとイベントを確認する"
      namespace           = "AWS/ApplicationELB"
      metric_name         = "HTTPCode_ELB_5XX_Count"
      dimensions          = { LoadBalancer = aws_lb.main.arn_suffix }
      statistic           = "Sum"
      period              = 300
      evaluation_periods  = 1
      threshold           = var.alarm_5xx_threshold
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # ヘルスチェックに通る web タスクが 0 台(画面が完全に止まっている)
    resource "aws_cloudwatch_metric_alarm" "web_no_healthy_hosts" {
      alarm_name        = "${local.name_prefix}-web-no-healthy-hosts"
      alarm_description = "ALB のターゲットに正常な web タスクが無い。ECS のサービスのイベントと停止したタスクの理由を確認する"
      namespace         = "AWS/ApplicationELB"
      metric_name       = "HealthyHostCount"
      dimensions = {
        LoadBalancer = aws_lb.main.arn_suffix
        TargetGroup  = aws_lb_target_group.web.arn_suffix
      }
      statistic           = "Minimum"
      period              = 60
      evaluation_periods  = 3
      threshold           = 1
      comparison_operator = "LessThanThreshold"
      treat_missing_data  = "breaching" # データが来ないこと自体を異常とみなす
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # web の CPU が高い状態が続く(オートスケーリングの上限に達している可能性)
    resource "aws_cloudwatch_metric_alarm" "web_cpu_high" {
      alarm_name        = "${local.name_prefix}-web-cpu-high"
      alarm_description = "web サービスの平均 CPU が 15 分間 85% を超えている。台数の上限(web_max_count)とタスクのサイズを見直す"
      namespace         = "AWS/ECS"
      metric_name       = "CPUUtilization"
      dimensions = {
        ClusterName = aws_ecs_cluster.main.name
        ServiceName = aws_ecs_service.web.name
      }
      statistic           = "Average"
      period              = 300
      evaluation_periods  = 3
      threshold           = 85
      comparison_operator = "GreaterThanThreshold"
      treat_missing_data  = "missing"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # ---------- 裏の処理(SQS・スケジューラ) ----------
    
    # いちばん古いジョブが 10 分以上処理されていない(worker が止まっている・追いついていない)
    resource "aws_cloudwatch_metric_alarm" "jobs_backlog" {
      alarm_name          = "${local.name_prefix}-jobs-backlog"
      alarm_description   = "ジョブのキューに 10 分以上処理されていないメッセージがある。worker サービスの状態とログ(/ecs/${local.name_prefix}/worker)を確認する"
      namespace           = "AWS/SQS"
      metric_name         = "ApproximateAgeOfOldestMessage"
      dimensions          = { QueueName = aws_sqs_queue.jobs.name }
      statistic           = "Maximum"
      period              = 300
      evaluation_periods  = 2
      threshold           = 600
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # DLQ にメッセージが入った(ワーカーが処理を終えられなかったジョブがある)
    resource "aws_cloudwatch_metric_alarm" "jobs_dlq" {
      alarm_name          = "${local.name_prefix}-jobs-dlq"
      alarm_description   = "デッドレターキューにメッセージがある。内容を確認し、原因を直してから再投入するか削除する(docs/runbook.md)"
      namespace           = "AWS/SQS"
      metric_name         = "ApproximateNumberOfMessagesVisible"
      dimensions          = { QueueName = aws_sqs_queue.jobs_dlq.name }
      statistic           = "Maximum"
      period              = 300
      evaluation_periods  = 1
      threshold           = 1
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # スケジューラの heartbeat(routes/console.php で 5 分ごとに出すログ)を数える
    resource "aws_cloudwatch_log_metric_filter" "scheduler_heartbeat" {
      name           = "${local.name_prefix}-scheduler-heartbeat"
      log_group_name = aws_cloudwatch_log_group.ecs["scheduler"].name
      pattern        = "\"scheduler heartbeat\""
    
      metric_transformation {
        name      = "SchedulerHeartbeat"
        namespace = "${var.project}/${var.environment}"
        value     = "1"
      }
    }
    
    # 15 分間 heartbeat が無い(スケジューラが止まっている)
    resource "aws_cloudwatch_metric_alarm" "scheduler_stopped" {
      alarm_name          = "${local.name_prefix}-scheduler-stopped"
      alarm_description   = "スケジューラの heartbeat が 15 分間出ていない。scheduler サービスの状態とログを確認し、締め処理などが実行されたかを確かめる"
      namespace           = "${var.project}/${var.environment}"
      metric_name         = aws_cloudwatch_log_metric_filter.scheduler_heartbeat.metric_transformation[0].name
      statistic           = "Sum"
      period              = 900
      evaluation_periods  = 1
      threshold           = 1
      comparison_operator = "LessThanThreshold"
      treat_missing_data  = "breaching" # ログが 1 件も無い=止まっている
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # ---------- アプリのエラーログ ----------
    
    # Laravel の ERROR 以上のログ(LOG_CHANNEL=stderr の出力は「production.ERROR:」のような形式)
    resource "aws_cloudwatch_log_metric_filter" "app_errors" {
      for_each = toset(["web", "worker", "scheduler"])
    
      name           = "${local.name_prefix}-${each.key}-app-errors"
      log_group_name = aws_cloudwatch_log_group.ecs[each.key].name
      pattern        = "?\"production.ERROR\" ?\"production.CRITICAL\" ?\"production.ALERT\" ?\"production.EMERGENCY\""
    
      metric_transformation {
        name      = "AppErrors"
        namespace = "${var.project}/${var.environment}"
        value     = "1"
      }
    }
    
    resource "aws_cloudwatch_metric_alarm" "app_errors" {
      alarm_name          = "${local.name_prefix}-app-errors"
      alarm_description   = "Laravel の ERROR 以上のログが 5 分間に ${var.alarm_app_error_threshold} 件以上。Logs Insights の保存済みクエリ「errors」で内容を確認する"
      namespace           = "${var.project}/${var.environment}"
      metric_name         = "AppErrors"
      statistic           = "Sum"
      period              = 300
      evaluation_periods  = 1
      threshold           = var.alarm_app_error_threshold
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    
      depends_on = [aws_cloudwatch_log_metric_filter.app_errors]
    }
    
    # ---------- DB(RDS) ----------
    
    resource "aws_cloudwatch_metric_alarm" "rds_cpu_high" {
      alarm_name          = "${local.name_prefix}-rds-cpu-high"
      alarm_description   = "RDS の CPU が 15 分間 80% を超えている。スロークエリログ(第8回)を確認する"
      namespace           = "AWS/RDS"
      metric_name         = "CPUUtilization"
      dimensions          = { DBInstanceIdentifier = aws_db_instance.main.identifier }
      statistic           = "Average"
      period              = 300
      evaluation_periods  = 3
      threshold           = 80
      comparison_operator = "GreaterThanThreshold"
      treat_missing_data  = "missing"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    resource "aws_cloudwatch_metric_alarm" "rds_free_storage_low" {
      alarm_name          = "${local.name_prefix}-rds-free-storage-low"
      alarm_description   = "RDS の空きストレージが ${var.alarm_rds_free_storage_gb} GB を下回った。自動拡張の上限(db_max_allocated_storage)とデータ量の増え方を確認する"
      namespace           = "AWS/RDS"
      metric_name         = "FreeStorageSpace"
      dimensions          = { DBInstanceIdentifier = aws_db_instance.main.identifier }
      statistic           = "Minimum"
      period              = 300
      evaluation_periods  = 1
      threshold           = var.alarm_rds_free_storage_gb * 1024 * 1024 * 1024
      comparison_operator = "LessThanThreshold"
      treat_missing_data  = "missing"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }
    
    # ---------- よく使うログ検索(CloudWatch Logs Insights の保存済みクエリ) ----------
    
    resource "aws_cloudwatch_query_definition" "errors" {
      name            = "${local.name_prefix}/errors"
      log_group_names = [for k in ["web", "worker", "scheduler"] : aws_cloudwatch_log_group.ecs[k].name]
      query_string    = <<-EOT
        fields @timestamp, @logStream, @message
        | filter @message like /production\.(ERROR|CRITICAL|ALERT|EMERGENCY)/
        | sort @timestamp desc
        | limit 100
      EOT
    }
    
    # nginx のアクセスログから、5xx と遅いリクエスト(1 秒以上)を探す。最後の項目が $request_time(docker/prod/nginx/nginx.conf)
    resource "aws_cloudwatch_query_definition" "slow_or_5xx_requests" {
      name            = "${local.name_prefix}/slow-or-5xx-requests"
      log_group_names = [aws_cloudwatch_log_group.ecs["web"].name]
      query_string    = <<-EOT
        fields @timestamp, @message
        | filter @logStream like /^nginx/
        | parse @message /"(?<method>\S+) (?<path>\S+) [^"]*" (?<status>\d{3}) \d+ "[^"]*" "[^"]*" "(?<client_ip>[^"]*)" (?<request_time>[\d.]+)$/
        | filter status like /^5/ or request_time >= 1
        | sort request_time desc
        | limit 100
      EOT
    }

    infra/terraform/monitoring.tf(全文のうち worker の停止を検知するアラーム)

    # いちばん古いジョブが 10 分以上処理されていない(worker が止まっている・追いついていない)
    resource "aws_cloudwatch_metric_alarm" "jobs_backlog" {
      alarm_name          = "${local.name_prefix}-jobs-backlog"
      alarm_description   = "ジョブのキューに 10 分以上処理されていないメッセージがある。worker サービスの状態とログ(/ecs/${local.name_prefix}/worker)を確認する"
      namespace           = "AWS/SQS"
      metric_name         = "ApproximateAgeOfOldestMessage"
      dimensions          = { QueueName = aws_sqs_queue.jobs.name }
      statistic           = "Maximum"
      period              = 300
      evaluation_periods  = 2
      threshold           = 600
      comparison_operator = "GreaterThanOrEqualToThreshold"
      treat_missing_data  = "notBreaching"
      alarm_actions       = local.alarm_actions
      ok_actions          = local.alarm_actions
    }

    キューのメッセージの「件数」ではなく「いちばん古いメッセージの経過時間」を見ているのがポイントです。件数は月初の締め処理で一時的に増えるのが普通ですが、10分以上手つかずのジョブがあるなら、worker が止まっているか、明らかに追いついていません。alarm_description には「最初に見るところ」を書いておき、通知を受けた人がすぐ動けるようにしました。

    treat_missing_data(データが無いときの扱い)も重要です。5xx の件数はアクセスが無ければデータ自体が無いので「正常」、正常なタスクの数はデータが来ないこと自体が異常なので「異常」として扱います。

    📰 出典:Amazon CloudWatch でのアラームの使用(Amazon CloudWatch ユーザーガイド)

    スケジューラの停止は heartbeat で気づく

    第10回で「裏で動く処理は止まっても誰も気づかない」という課題を挙げました。worker はキューの滞留で気づけますが、スケジューラは止まっても何も溜まりません。そこで、5分ごとにログを1行出す heartbeat(=生存確認の合図)を加え、それが途絶えたらアラームにしました。

    routes/console.php に次の変更を加えます(+ が追加、- が削除)。

    --- a/routes/console.php
    +++ b/routes/console.php
    @@ -2,6 +2,7 @@
     
     use Illuminate\Foundation\Inspiring;
     use Illuminate\Support\Facades\Artisan;
    +use Illuminate\Support\Facades\Log;
     use Illuminate\Support\Facades\Schedule;
     
     Artisan::command('inspire', function () {
    @@ -27,3 +28,9 @@
         ->monthlyOn(1, '06:00')
         ->onOneServer()
         ->withoutOverlapping();
    +
    +// 5分ごと:スケジューラが動いていることを示すログ(第12回)
    +// CloudWatch Logs のメトリクスフィルターで数え、一定時間出なければアラームを出す(infra/terraform/monitoring.tf)
    +Schedule::call(function (): void {
    +    Log::info('scheduler heartbeat');
    +})->everyFiveMinutes()->name('scheduler-heartbeat');

    infra/terraform/monitoring.tf(全文のうち heartbeat を数えるメトリクスフィルターとアラーム)

    resource "aws_cloudwatch_log_metric_filter" "scheduler_heartbeat" {
      name           = "${local.name_prefix}-scheduler-heartbeat"
      log_group_name = aws_cloudwatch_log_group.ecs["scheduler"].name
      pattern        = "\"scheduler heartbeat\""
    
      metric_transformation {
        name      = "SchedulerHeartbeat"
        namespace = "${var.project}/${var.environment}"
        value     = "1"
      }
    }
    
    # 15 分間 heartbeat が無い(スケジューラが止まっている)
    resource "aws_cloudwatch_metric_alarm" "scheduler_stopped" {
      alarm_name          = "${local.name_prefix}-scheduler-stopped"
      namespace           = "${var.project}/${var.environment}"
      metric_name         = aws_cloudwatch_log_metric_filter.scheduler_heartbeat.metric_transformation[0].name
      statistic           = "Sum"
      period              = 900
      evaluation_periods  = 1
      threshold           = 1
      comparison_operator = "LessThanThreshold"
      treat_missing_data  = "breaching" # ログが 1 件も無い=止まっている
      # (alarm_description と通知先は省略)
    }

    Laravel の ERROR 以上のログも、同じメトリクスフィルターの仕組みで数えています(LOG_CHANNEL=stderr のログは production.ERROR: のような形で出るため、その文字列で数えます)。

    ログは Logs Insights で探す

    ログは第9回から CloudWatch Logs に集めています(保持期間は既定30日)。障害時に毎回検索の書き方を考えなくて済むよう、よく使う検索を Logs Insights(=ログを SQL に似た書き方で検索・集計する機能)の保存済みクエリとして Terraform で登録しました。

    infra/terraform/monitoring.tf(全文のうち保存済みクエリ)

    resource "aws_cloudwatch_query_definition" "errors" {
      name            = "${local.name_prefix}/errors"
      log_group_names = [for k in ["web", "worker", "scheduler"] : aws_cloudwatch_log_group.ecs[k].name]
      query_string    = <<-EOT
        fields @timestamp, @logStream, @message
        | filter @message like /production\.(ERROR|CRITICAL|ALERT|EMERGENCY)/
        | sort @timestamp desc
        | limit 100
      EOT
    }

    このほか、nginx のアクセスログから 5xx と1秒以上かかったリクエストを探すクエリも登録しています。

    📰 出典:CloudWatch Logs Insights を使用したログデータの分析(Amazon CloudWatch Logs ユーザーガイド)

    オートスケーリング:CPU に合わせて web の台数を変える

    infra/terraform/autoscaling.tf を新しく作ります。

    # infra/terraform/autoscaling.tf
    # web サービスのオートスケーリング(第12回)
    #
    # 平均 CPU が目標値(既定 60%)を保つように、web のタスク数を web_min_count〜web_max_count の間で自動で増減する。
    # 増やすのは早く(60 秒)、減らすのはゆっくり(300 秒)にして、増減を繰り返さないようにする。
    # サービスの desired_count は Application Auto Scaling が変えるので、Terraform では変更を無視する(ecs_web.tf)。
    
    resource "aws_appautoscaling_target" "web" {
      service_namespace  = "ecs"
      resource_id        = "service/${aws_ecs_cluster.main.name}/${aws_ecs_service.web.name}"
      scalable_dimension = "ecs:service:DesiredCount"
      min_capacity       = var.web_min_count
      max_capacity       = var.web_max_count
    }
    
    resource "aws_appautoscaling_policy" "web_cpu" {
      name               = "${local.name_prefix}-web-cpu"
      policy_type        = "TargetTrackingScaling"
      service_namespace  = aws_appautoscaling_target.web.service_namespace
      resource_id        = aws_appautoscaling_target.web.resource_id
      scalable_dimension = aws_appautoscaling_target.web.scalable_dimension
    
      target_tracking_scaling_policy_configuration {
        predefined_metric_specification {
          predefined_metric_type = "ECSServiceAverageCPUUtilization"
        }
        target_value       = var.web_cpu_target
        scale_out_cooldown = 60
        scale_in_cooldown  = 300
      }
    }

    目標追跡(=指標が目標値になるように台数を自動で増減する方式)で、web の平均 CPU が 60% 前後になるように、2〜4台の間で台数を変えます。増やすときは早く、減らすときはゆっくりにして、増減を繰り返さないようにしています。台数はオートスケーリングが変えるので、web サービスの lifecycle の ignore_changes に desired_count を追加しました。

    web_max_count は「費用の上限」でもあります。上限に達しても CPU が高いままなら、前述の CPU のアラームで気づけます。worker も、キューの滞留に合わせて台数を変える設定にできますが、この規模では1台で足りるため、連載では台数を固定にしています。

    📰 出典:Amazon ECS サービスを自動的にスケールする(Amazon ECS デベロッパーガイド)

    失敗したデプロイを自動で戻す(サーキットブレーカー)

    3つのサービスに、サーキットブレーカーと ECS Exec の設定を足します。web は台数をオートスケーリングに任せるため、desired_count の変更も無視します。infra/terraform/ecs_web.tf・ecs_worker.tf・ecs_scheduler.tf に次の変更を加えます(+ が追加、- が削除)。

    --- a/infra/terraform/ecs_web.tf
    +++ b/infra/terraform/ecs_web.tf
    @@ -94,10 +94,20 @@ resource "aws_ecs_service" "web" {
       # ALB のリスナーができる前にサービスを作るとエラーになるため、順序を明示する
       depends_on = [aws_lb_listener.https]
     
    +  # 第12回:新しいタスクが起動しない・ヘルスチェックに通らないデプロイを自動で止め、直前の正常なリビジョンに戻す
    +  deployment_circuit_breaker {
    +    enable   = true
    +    rollback = true
    +  }
    +
    +  # 第12回:ECS Exec(稼働中のコンテナで php artisan などを実行する)を使えるようにする
    +  enable_execute_command = var.enable_execute_command
    +
       # 第11回から、イメージの更新(新しいタスク定義のリビジョンへの切り替え)は GitHub Actions が行う。
       # Terraform が古いリビジョンに戻さないよう、サービスのタスク定義の変更は無視する
    +  # 第12回:台数はオートスケーリング(autoscaling.tf)が変えるので、desired_count の変更も無視する
       lifecycle {
    -    ignore_changes = [task_definition]
    +    ignore_changes = [task_definition, desired_count]
       }
     
       tags = { Name = "${local.name_prefix}-web" }
    --- a/infra/terraform/ecs_worker.tf
    +++ b/infra/terraform/ecs_worker.tf
    @@ -60,6 +60,15 @@ resource "aws_ecs_service" "worker" {
       deployment_minimum_healthy_percent = 100
       deployment_maximum_percent         = 200
     
    +  # 第12回:新しいタスクが起動しない・ヘルスチェックに通らないデプロイを自動で止め、直前の正常なリビジョンに戻す
    +  deployment_circuit_breaker {
    +    enable   = true
    +    rollback = true
    +  }
    +
    +  # 第12回:ECS Exec(稼働中のコンテナで php artisan などを実行する)を使えるようにする
    +  enable_execute_command = var.enable_execute_command
    +
       # 第11回から、イメージの更新(新しいタスク定義のリビジョンへの切り替え)は GitHub Actions が行う。
       # Terraform が古いリビジョンに戻さないよう、サービスのタスク定義の変更は無視する
       lifecycle {
    --- a/infra/terraform/ecs_scheduler.tf
    +++ b/infra/terraform/ecs_scheduler.tf
    @@ -56,6 +56,15 @@ resource "aws_ecs_service" "scheduler" {
       deployment_minimum_healthy_percent = 0
       deployment_maximum_percent         = 100
     
    +  # 第12回:新しいタスクが起動しない・ヘルスチェックに通らないデプロイを自動で止め、直前の正常なリビジョンに戻す
    +  deployment_circuit_breaker {
    +    enable   = true
    +    rollback = true
    +  }
    +
    +  # 第12回:ECS Exec(稼働中のコンテナで php artisan などを実行する)を使えるようにする
    +  enable_execute_command = var.enable_execute_command
    +
       # 第11回から、イメージの更新(新しいタスク定義のリビジョンへの切り替え)は GitHub Actions が行う。
       # Terraform が古いリビジョンに戻さないよう、サービスのタスク定義の変更は無視する
       lifecycle {

    デプロイサーキットブレーカーは、新しいタスクが起動に失敗し続けたり、ALB のヘルスチェックに通らなかったりしたときに、デプロイを失敗として止め、直前の正常なリビジョンに戻す機能です。壊れたイメージを出してしまっても、画面が止まり続けることを防げます。

    📰 出典:Amazon ECS デプロイサーキットブレーカーが障害を検出する方法(Amazon ECS デベロッパーガイド)

    注意したいのは、自動で戻ったあとのサービスは「古いリビジョンで安定している」ことです。デプロイのワークフローから見ると安定を待つステップが成功してしまう可能性があるため、最後に「実際に動いているイメージが今回のタグか」を確かめるステップを加えました。

    .github/workflows/deploy.yml に次の変更を加えます(+ が追加、- が削除)。

    --- a/.github/workflows/deploy.yml
    +++ b/.github/workflows/deploy.yml
    @@ -154,3 +154,23 @@ jobs:
               cluster: ${{ vars.ECS_CLUSTER }}
               service: scheduler
               wait-for-service-stability: true
    +
    +      # 第12回:サーキットブレーカーが前のリビジョンに戻した場合も「サービスは安定」に見えるため、
    +      # 各サービスで実際に動いているイメージが今回のタグかを確認し、違えば失敗にする
    +      - name: Verify deployed images
    +        env:
    +          CLUSTER: ${{ vars.ECS_CLUSTER }}
    +        run: |
    +          for service in web worker scheduler; do
    +            td=$(aws ecs describe-services --cluster "$CLUSTER" --services "$service" \
    +              --query "services[0].deployments[?status=='PRIMARY'].taskDefinition | [0]" --output text)
    +            images=$(aws ecs describe-task-definition --task-definition "$td" \
    +              --query 'taskDefinition.containerDefinitions[].image' --output text)
    +            echo "$service: $td $images"
    +            for image in $images; do
    +              if [ "${image##*:}" != "$IMAGE_TAG" ]; then
    +                echo "::error::$service is not running $IMAGE_TAG (rolled back?)"
    +                exit 1
    +              fi
    +            done
    +          done

    サーキットブレーカーが戻せるのは「起動しない」「ヘルスチェックに通らない」壊れ方だけです。画面は表示されるが計算が間違っている、といった不具合は、人が判断して前のリビジョンに戻します。その手順(aws ecs update-service で前のリビジョンを指定する、または revert してデプロイし直す)は docs/runbook.md に書きました。マイグレーションは自動では戻らないため、第11回で書いたとおり「古いコードでも動く」形でマイグレーションを書くことが、切り戻しやすさにつながります。

    ECS Exec:稼働中のコンテナで調べる・最初の管理者を作る

    ECS Exec は、稼働中のコンテナで php artisan などのコマンドを実行できる機能です。サーバーに SSH で入る代わりの手段で、タスクロールに SSM のチャネルの権限(ssmmessages:*)を与え、サービスで有効にします。使う人には別途 ecs:ExecuteCommand の IAM 権限が必要です。

    タスクロールの権限は infra/terraform/iam.tf に次の変更を加えて追加します(+ が追加、- が削除)。

    --- a/infra/terraform/iam.tf
    +++ b/infra/terraform/iam.tf
    @@ -76,3 +76,26 @@ resource "aws_iam_role_policy" "ecs_task_sqs" {
       role   = aws_iam_role.ecs_task.id
       policy = data.aws_iam_policy_document.ecs_task_sqs.json
     }
    +
    +# タスクロールの権限(第12回):ECS Exec(稼働中のコンテナでコマンドを実行する機能)に必要な SSM のチャネル
    +# ECS Exec を使う人には、別途 ecs:ExecuteCommand の権限が必要(docs/runbook.md)
    +data "aws_iam_policy_document" "ecs_task_exec" {
    +  statement {
    +    sid = "EcsExec"
    +    actions = [
    +      "ssmmessages:CreateControlChannel",
    +      "ssmmessages:CreateDataChannel",
    +      "ssmmessages:OpenControlChannel",
    +      "ssmmessages:OpenDataChannel",
    +    ]
    +    resources = ["*"]
    +  }
    +}
    +
    +resource "aws_iam_role_policy" "ecs_task_exec" {
    +  count = var.enable_execute_command ? 1 : 0
    +
    +  name   = "ecs-exec"
    +  role   = aws_iam_role.ecs_task.id
    +  policy = data.aws_iam_policy_document.ecs_task_exec.json
    +}

    第10回で「最初の管理者ユーザーは ECS Exec などで作る」と書きました。本番イメージにはシーダー用のパッケージが入っていないため、ユーザーを作るコマンドを用意しました。

    app/Console/Commands/CreateUser.php を新しく作ります。

    <?php
    
    // app/Console/Commands/CreateUser.php
    
    declare(strict_types=1);
    
    namespace App\Console\Commands;
    
    use App\Enums\Role;
    use App\Models\User;
    use Illuminate\Console\Command;
    use Illuminate\Support\Facades\Validator;
    use Illuminate\Validation\Rule;
    use Illuminate\Validation\Rules\Password;
    
    /**
     * ユーザーを作成する(第12回)
     *
     * 本番用イメージにはシーダー用のパッケージが入らないため、最初の管理者はこのコマンドで作る。
     * ECS では ECS Exec でコンテナに入って実行する(docs/runbook.md)。
     * パスワードはコマンドの引数にせず、対話で入力する(シェルの履歴やログに残さないため)。
     */
    class CreateUser extends Command
    {
        protected $signature = 'users:create
            {email : メールアドレス(ログイン ID)}
            {name : 表示名}
            {--role=viewer : admin / staff / viewer}';
    
        protected $description = 'ユーザーを作成する(パスワードは対話で入力)';
    
        public function handle(): int
        {
            $password = (string) $this->secret('パスワード(8文字以上)');
            $confirmation = (string) $this->secret('パスワード(確認)');
    
            $validator = Validator::make([
                'email' => $this->argument('email'),
                'name' => $this->argument('name'),
                'role' => $this->option('role'),
                'password' => $password,
                'password_confirmation' => $confirmation,
            ], [
                'email' => ['required', 'email', 'max:255', Rule::unique(User::class)],
                'name' => ['required', 'string', 'max:255'],
                'role' => ['required', Rule::enum(Role::class)],
                'password' => ['required', 'confirmed', Password::min(8)],
            ]);
    
            if ($validator->fails()) {
                foreach ($validator->errors()->all() as $message) {
                    $this->error($message);
                }
    
                return self::FAILURE;
            }
    
            $user = new User([
                'name' => $this->argument('name'),
                'email' => $this->argument('email'),
                'password' => $password,
            ]);
            // role は $fillable に入れていない(第3回)ので、個別に代入する
            $user->role = Role::from((string) $this->option('role'));
            // 管理者が作るユーザーなので、メールアドレスの確認は済みとして扱う
            $user->email_verified_at = now();
            $user->save();
    
            $this->info("ユーザーを作成しました:{$user->email}({$user->role->label()})");
    
            return self::SUCCESS;
        }
    }

    パスワードはコマンドの引数にせず、対話で入力します。引数にすると、端末の履歴や ECS Exec のセッションの記録に残るおそれがあるためです。

    aws ecs execute-command --cluster admin-stg --task <タスク ID> --container php --interactive \
      --command "php artisan users:create admin@example.com 管理者 --role=admin"

    📰 出典:ECS Exec を使用して Amazon ECS コンテナをモニタリングする(Amazon ECS デベロッパーガイド)

    ECS Exec は本番のデータを直接変更できる強い手段です。使える人を IAM で限定し、誰がいつ何を実行したかを記録する運用にします。

    テスト・変数・手順書を追加する

    ユーザー作成コマンドと heartbeat のテストとして、tests/Feature/OperationsTest.php を新しく作ります。

    <?php
    
    // tests/Feature/OperationsTest.php
    
    declare(strict_types=1);
    
    namespace Tests\Feature;
    
    use App\Enums\Role;
    use App\Models\User;
    use Illuminate\Console\Scheduling\Event;
    use Illuminate\Console\Scheduling\Schedule;
    use Illuminate\Foundation\Testing\RefreshDatabase;
    use Illuminate\Support\Facades\Hash;
    use Tests\TestCase;
    
    /**
     * 運用のためのコマンドとスケジュール(第12回)
     */
    class OperationsTest extends TestCase
    {
        use RefreshDatabase;
    
        public function test_admin_user_can_be_created_with_interactive_password(): void
        {
            $this->artisan('users:create', ['email' => 'admin@example.com', 'name' => '管理者', '--role' => 'admin'])
                ->expectsQuestion('パスワード(8文字以上)', 'correct-horse-battery')
                ->expectsQuestion('パスワード(確認)', 'correct-horse-battery')
                ->assertSuccessful();
    
            $user = User::where('email', 'admin@example.com')->firstOrFail();
            $this->assertSame(Role::Admin, $user->role);
            $this->assertNotNull($user->email_verified_at);
            $this->assertTrue(Hash::check('correct-horse-battery', $user->password));
        }
    
        public function test_invalid_input_does_not_create_user(): void
        {
            User::factory()->create(['email' => 'taken@example.com']);
    
            $this->artisan('users:create', ['email' => 'taken@example.com', 'name' => '重複', '--role' => 'owner'])
                ->expectsQuestion('パスワード(8文字以上)', 'short')
                ->expectsQuestion('パスワード(確認)', 'different')
                ->assertFailed();
    
            $this->assertDatabaseCount('users', 1);
        }
    
        public function test_scheduler_heartbeat_is_scheduled_every_five_minutes(): void
        {
            $heartbeat = collect(app(Schedule::class)->events())
                ->first(fn (Event $event) => $event->description === 'scheduler-heartbeat');
    
            $this->assertNotNull($heartbeat);
            $this->assertSame('*/5 * * * *', $heartbeat->expression);
        }
    }

    通知先のメールアドレス・アラームのしきい値・オートスケーリングの台数などを変数にし、通知先の SNS トピックを出力します。第11回までの3つのファイルに、次の変更を加えます(+ が追加、- が削除)。

    --- a/infra/terraform/variables.tf
    +++ b/infra/terraform/variables.tf
    @@ -199,3 +199,52 @@ variable "github_oidc_provider_arn" {
       type        = string
       default     = ""
     }
    +
    +# ---------- 運用:監視・スケーリング・ECS Exec(第12回) ----------
    +variable "alarm_emails" {
    +  description = "アラームを受け取るメールアドレス(登録後の確認メールで承認が必要)"
    +  type        = list(string)
    +  default     = []
    +}
    +
    +variable "alarm_5xx_threshold" {
    +  description = "5 分間の 5xx の件数がこれ以上でアラーム"
    +  type        = number
    +  default     = 10
    +}
    +
    +variable "alarm_app_error_threshold" {
    +  description = "5 分間の Laravel の ERROR 以上のログの件数がこれ以上でアラーム"
    +  type        = number
    +  default     = 5
    +}
    +
    +variable "alarm_rds_free_storage_gb" {
    +  description = "RDS の空きストレージ(GB)がこれを下回ったらアラーム"
    +  type        = number
    +  default     = 5
    +}
    +
    +variable "web_min_count" {
    +  description = "web タスクの最小台数(オートスケーリング)。2 以上で 2 つの AZ に分かれる"
    +  type        = number
    +  default     = 2
    +}
    +
    +variable "web_max_count" {
    +  description = "web タスクの最大台数(オートスケーリング)。費用の上限にもなる"
    +  type        = number
    +  default     = 4
    +}
    +
    +variable "web_cpu_target" {
    +  description = "オートスケーリングで保つ web の平均 CPU 使用率(%)"
    +  type        = number
    +  default     = 60
    +}
    +
    +variable "enable_execute_command" {
    +  description = "ECS Exec を有効にするか(調査用。使う人の IAM 権限は別に管理する)"
    +  type        = bool
    +  default     = true
    +}
    --- a/infra/terraform/outputs.tf
    +++ b/infra/terraform/outputs.tf
    @@ -107,3 +107,8 @@ output "github_actions_variables" {
         APP_SECURITY_GROUP_ID = aws_security_group.app.id
       }
     }
    +
    +output "alarm_topic_arn" {
    +  description = "アラームの通知先(SNS トピック)。チャットツールへの転送などを追加するときに使う"
    +  value       = aws_sns_topic.alarms.arn
    +}
    --- a/infra/terraform/terraform.tfvars.example
    +++ b/infra/terraform/terraform.tfvars.example
    @@ -53,3 +53,13 @@ github_repository           = "your-org/admin-console"
     create_github_oidc_provider = true
     # create_github_oidc_provider = false のときだけ指定する
     # github_oidc_provider_arn = "arn:aws:iam::111122223333:oidc-provider/token.actions.githubusercontent.com"
    +
    +# ---------- 運用:監視・スケーリング・ECS Exec(第12回) ----------
    +alarm_emails              = ["ops@example.com"]
    +alarm_5xx_threshold       = 10
    +alarm_app_error_threshold = 5
    +alarm_rds_free_storage_gb = 5
    +web_min_count             = 2
    +web_max_count             = 4
    +web_cpu_target            = 60
    +enable_execute_command    = true

    アラームを受けたときの確認・調査・切り戻しの手順書として、docs/runbook.md を新しく作ります。

    docs/runbook.md の全文(110行)
    <!-- docs/runbook.md -->
    # 運用手順書(runbook)
    
    連載「Laravel+Vue.jsで作る管理画面をECSで動かす」第12回のサンプルです。値は stg 環境(`admin-stg`)の例です。
    自分の環境の名前・ID に読み替えてください。**この手順は AWS 上で実行して確認したものではありません。** 導入時に一度ずつ試し、手順を自分たちの環境に合わせて直してください。
    
    ## 1. アラームを受けたときの最初の確認
    
    | アラーム | 意味 | 最初に見るところ | よくある原因と対応 |
    | --- | --- | --- | --- |
    | `admin-stg-web-no-healthy-hosts` | 画面が完全に止まっている | ECS コンソールの web サービスの「イベント」「停止したタスク」の理由 | 起動直後のエラー(環境変数・secrets の取得失敗)、DB に接続できない。直前のデプロイなら 4. の切り戻し |
    | `admin-stg-alb-elb-5xx` | ALB が 502/503 を返している | 上と同じ。web タスクの台数 | タスクの入れ替え中、php-fpm の応答なし |
    | `admin-stg-alb-target-5xx` | アプリが 5xx を返している | Logs Insights の保存済みクエリ `admin-stg/errors` | 例外(コードの不具合、DB の制約違反)。直前のデプロイなら切り戻し |
    | `admin-stg-app-errors` | Laravel の ERROR 以上のログが増えた | `admin-stg/errors` | 外部サービスの失敗、ジョブの例外 |
    | `admin-stg-web-cpu-high` | web の CPU が高い状態が続く | web の台数(上限 `web_max_count` に達していないか) | アクセス増、重い画面。台数の上限・タスクのサイズを見直す |
    | `admin-stg-jobs-backlog` | ジョブが 10 分以上処理されていない | worker サービスのタスクの数とログ `/ecs/admin-stg/worker` | worker が停止・起動失敗、処理が追いつかない(台数を増やす) |
    | `admin-stg-jobs-dlq` | 処理できなかったジョブが DLQ に入った | 3. の DLQ の確認 | worker の強制終了(メモリ不足・stopTimeout 超過) |
    | `admin-stg-scheduler-stopped` | スケジューラの heartbeat が 15 分出ていない | scheduler サービスのタスクとログ `/ecs/admin-stg/scheduler` | タスクの起動失敗。**止まっていた間の締め処理・期限超過チェックを手動で実行**(2.) |
    | `admin-stg-rds-cpu-high` | DB の CPU が高い | RDS のスロークエリログ(CloudWatch Logs) | インデックスの無い検索、N+1 |
    | `admin-stg-rds-free-storage-low` | DB の空き容量が少ない | RDS のストレージ・自動拡張の上限 | データ・ログの増加。`db_max_allocated_storage` を見直す |
    
    アラームは SNS のトピック `admin-stg-alarms` からメールで届きます(`alarm_emails`。登録後の確認メールのリンクを押すまで届きません)。
    
    ## 2. ECS Exec でコンテナの中でコマンドを実行する
    
    稼働中のタスクで `php artisan` を実行できます。**本番のデータを直接変更できる操作なので、実行する人と内容を記録してください。**
    
    前提:
    - サービスの `enable_execute_command = true`(Terraform の変数 `enable_execute_command`)と、タスクロールの `ssmmessages:*` 権限(`infra/terraform/iam.tf`)
    - 実行する人の IAM 権限:`ecs:ExecuteCommand`(対象のクラスター・タスクに限定する)、`ecs:DescribeTasks`
    - 手元の端末に AWS CLI と Session Manager プラグイン
    
    ```bash
    # タスク ID を調べる
    aws ecs list-tasks --cluster admin-stg --service-name web --query 'taskArns[0]' --output text
    
    # アプリの状態を確認する(php コンテナ)
    aws ecs execute-command --cluster admin-stg --task <タスク ID> --container php --interactive \
      --command "php artisan about"
    
    # 最初の管理者ユーザーを作る(パスワードは対話で入力。引数には書かない)
    aws ecs execute-command --cluster admin-stg --task <タスク ID> --container php --interactive \
      --command "php artisan users:create admin@example.com 管理者 --role=admin"
    
    # スケジューラが止まっていた間の処理を手動で実行する(scheduler サービスのタスクで)
    aws ecs execute-command --cluster admin-stg --task <タスク ID> --container scheduler --interactive \
      --command "php artisan invoices:mark-overdue"
    
    # 失敗したジョブの一覧と再実行
    aws ecs execute-command --cluster admin-stg --task <タスク ID> --container worker --interactive \
      --command "php artisan queue:failed"
    ```
    
    注意:
    - コンテナは非 root(www-data)で動いているため、`php artisan tinker` を使う場合は `env XDG_CONFIG_HOME=/tmp php artisan tinker` とする。
    - ECS Exec のセッションは、終了するまでタスクの中で動き続ける。調査が終わったら必ず抜ける。
    
    ## 3. デッドレターキュー(DLQ)のメッセージを確認する
    
    ```bash
    # 件数
    aws sqs get-queue-attributes --queue-url <sqs_dlq_url> --attribute-names ApproximateNumberOfMessages
    
    # 中身を見る(見ただけでは削除されない。可視性タイムアウトの後に戻る)
    aws sqs receive-message --queue-url <sqs_dlq_url> --max-number-of-messages 1
    ```
    
    - メッセージの `body` の `displayName`(ジョブのクラス名)と `data`(引数)から、どの請求の発行だったかを確認する。
    - 原因(メモリ不足、処理時間の超過など)を直してから、SQS コンソールの「DLQ 再処理(redrive)」で元のキューに戻すか、不要なら削除する。請求書の発行なら、画面から該当の請求を確認し、状態が「発行中」のまま残っていないかも確認する。
    
    ## 4. デプロイの失敗と切り戻し
    
    ### 自動で戻る場合(デプロイサーキットブレーカー)
    
    新しいタスクが起動しない・ヘルスチェックに通らないときは、ECS が直前の正常なリビジョンに自動で戻します。GitHub Actions の deploy ワークフローは最後に「実際に動いているイメージが今回のタグか」を確認し、戻っていれば失敗になります。ECS コンソールのサービスの「デプロイ」タブで理由を確認し、修正してから再デプロイします。
    
    ### 手動で前のリビジョンに戻す場合(起動はするが、不具合がある)
    
    ```bash
    # 直近のリビジョンを確認する(タスク定義の image のタグ=コミット ID)
    aws ecs list-task-definitions --family-prefix admin-stg-web --sort DESC --max-items 5
    
    # web・worker・scheduler を、前のコミットのリビジョンに戻す
    aws ecs update-service --cluster admin-stg --service web       --task-definition admin-stg-web:<前のリビジョン>
    aws ecs update-service --cluster admin-stg --service worker    --task-definition admin-stg-worker:<前のリビジョン>
    aws ecs update-service --cluster admin-stg --service scheduler --task-definition admin-stg-scheduler:<前のリビジョン>
    aws ecs wait services-stable --cluster admin-stg --services web worker scheduler
    ```
    
    - または、GitHub で問題のコミットを revert して main にマージし、通常のデプロイで戻す(記録が残るのでこちらを基本にする)。
    - **マイグレーションは自動では戻らない。** 新しいコードは新しいテーブル構造を前提にしていることがあるため、DB を戻す必要があるかは個別に判断する(連載のマイグレーションは「古いコードでも動く」形で書く方針:第11回)。
    - ECR に残っているイメージの世代数(`ecr_keep_images`)より古い版には戻せない。
    
    ## 5. ログを調べる(CloudWatch Logs Insights)
    
    保存済みクエリ(`infra/terraform/monitoring.tf`):
    
    - `admin-stg/errors`:web・worker・scheduler の Laravel の ERROR 以上のログ
    - `admin-stg/slow-or-5xx-requests`:nginx のアクセスログから 5xx と 1 秒以上かかったリクエスト
    
    ロググループ:`/ecs/admin-stg/{web,worker,scheduler,migrate}`。web はストリーム名の先頭が `php/` と `nginx/` で分かれる。保持期間は `log_retention_days`(既定 30 日)。
    
    ## 6. 定期的に行うこと
    
    | 頻度 | 内容 |
    | --- | --- |
    | 毎月 | AWS の請求(Cost Explorer)をタグ `Project` / `Environment` で確認し、前月と比べる |
    | 毎月 | `composer audit` / `npm audit` と、PHP・nginx・MySQL・Node.js のベースイメージの更新を確認し、更新したら stg で確認してから本番へ |
    | 四半期 | RDS のスナップショットから別のインスタンスに復元できるかを試す(復元の手順と所要時間を記録) |
    | 四半期 | アラームを受け取る人・ECS Exec を使える人・デプロイを承認する人の一覧を見直す |

    動作確認の方法

    筆者の環境で確認したことは次のとおりです。

    • php artisan test は 71件すべて成功(ユーザー作成コマンドの正常系・異常系、heartbeat のスケジュールの3件を追加)
    • 本番用イメージを compose.prod.yaml で起動し、php artisan users:create で管理者を作成 → そのユーザーでログインして請求の一覧が表示される。php artisan about で本番設定(Debug Mode OFF など)を確認
    • scheduler のコンテナのログに、5分ごとに production.INFO: scheduler heartbeat が出る。Log::error() のログが production.ERROR: の形で出る(メトリクスフィルターの条件と一致)
    • nginx のアクセスログの実際の行で、保存済みクエリの解析用の正規表現が各項目を取り出せることを確認
    • Terraform は fmt -check・validate が成功。AWS に接続しない plan で Plan: 91 to add(第11回の70件に、SNS とメール購読・アラーム10個・メトリクスフィルター4つ・保存済みクエリ2つ・オートスケーリング2つ・ECS Exec の権限の21件)。サービスにサーキットブレーカー(enable = true・rollback = true)と enable_execute_command = true が入る
    • デプロイのワークフローは actionlint でエラーなし。確認ステップの JMESPath(AWS CLI の --query の書き方)をサンプルのデータで確認

    AWS 上での確認(5xx を発生させてアラームのメールが届くこと、aws ecs execute-command で php artisan about が実行できること、壊れたイメージのデプロイがサーキットブレーカーで前のリビジョンに戻ること、オートスケーリングで台数が変わること、Logs Insights のクエリの結果)はできていません。導入時は、stg 環境で一つずつ試してから本番に広げてください。

    連載のまとめ:12回で作ったもの

    回内容
    第1回全体像と開発環境:Laravel 12+Vue 3 スターターキットを Docker で動かす
    第2回顧客マスタの一覧と登録:FormRequest でバリデーションする
    第3回ロールと Policy:誰が何をできるかをコードで決める
    第4回案件管理と一覧画面の作り込み:検索・並べ替え・ページング
    第5回請求と非同期処理:キューとスケジューラをローカルで動かす
    第6回本番用コンテナイメージを作る:マルチステージ Dockerfile
    第7回Terraform の土台とネットワーク:state 管理と VPC
    第8回RDS for MySQL と秘密情報:パスワードをコードに書かない
    第9回ECR・ECS on Fargate・ALB:管理画面をインターネットに公開する
    第10回キューワーカーとスケジューラを ECS で動かす
    第11回GitHub Actions で CI/CD:OIDC でキーを持たずにデプロイ
    第12回運用編:ログ・監視・スケーリング・切り戻し(この記事)

    前半(第1〜5回)でアプリを、後半(第6〜12回)でそれを本番で動かす仕組みを作りました。どの回も「動くコード」と「確認の方法」をセットにしてきましたが、AWS 上での動作は一度も確認していない点は、最後にあらためてお伝えしておきます。

    本番運用の前に残っている作業

    連載では説明を絞るために省いたものがあります。本番で使う前に、少なくとも次の点を検討してください。

    残作業内容関係する回
    会員登録を閉じるスターターキットの会員登録画面が残ったまま。ルートを外し、ログイン画面のリンクも消す。ユーザーは今回の users:create か、管理者用のユーザー管理画面で作る第3回・第9回
    メール送信本番の MAIL_MAILER が未設定(ログに出るだけ)なので、パスワード再設定のメールが届かない。Amazon SES などの送信の設定と、送信元ドメインの認証が必要第1回
    バックアップの復元訓練RDS の自動バックアップはあるが、復元を試していない。復元の手順・所要時間を記録し、必要なら別リージョンへのコピーも検討第8回
    DB のユーザーとパスワードの変更アプリがマスターユーザーで接続している。アプリ用のユーザーを作り、自動ローテーション後のタスクの入れ替えも運用に組み込む第8回・第10回
    信頼するプロキシの範囲の見直しALB の前に CloudFront などを置く場合は、TRUSTED_PROXIES と ALB のセキュリティグループを合わせて見直す第9回
    公開範囲と WAFIP 制限を外して公開する場合は、AWS WAF などでログイン画面への総当たりを防ぐ。二要素認証の検討も第9回
    依存関係とベースイメージの更新サンプルは2025年5月時点の版に固定している。composer audit などで確認し、定期的に更新する第1回・第6回
    本番環境の分離stg と prod を別の AWS アカウントに分け、prod のデプロイに承認者を設定する第7回・第11回
    費用の確認毎月、タグ(Project / Environment)ごとに費用を確認し、台数・ログの保持期間・NAT Gateway の構成を見直す第7回・第12回

    処理の速さが課題になった場合は、Laravel Octane(アプリを常駐させて起動の手間を省く仕組み)への移行が次の一手になります。ただし、リクエストをまたいで状態が残ることへの注意が増えるため、連載では nginx と php-fpm の構成にとどめました。

    発注者向けメモ:AWS の月額は「常に動く台数」「ログ」「通信」で決まる

    連載の構成で費用がかかる部品を、性質で分けると次のようになります(具体的な金額は、リージョン・時期・使い方で変わるため、AWS の料金ページと見積もりツールで確認してください)。

    性質部品費用を左右するもの
    動いている時間だけかかる(常時)Fargate のタスク(web・worker・scheduler)台数 × CPU・メモリ × 時間。web の最小台数とオートスケーリングの上限
    動いている時間だけかかる(常時)RDSインスタンスのサイズ、Multi-AZ の有無、ストレージ、バックアップの保持日数
    動いている時間だけかかる(常時)ALB、NAT Gateway、インターフェイス型 VPC エンドポイント(使う場合)台数(NAT を AZ ごとに置くか)と、使った分の処理量
    使った分だけかかるCloudWatch Logsログの量と保持期間。アクセスログやデバッグログを出しすぎない
    使った分だけかかるデータ転送、SQS、ECR の保管、Secrets Manager、アラーム多くはこの規模では小さいが、ゼロではない

    費用を下げるときの考え方は、「夜間や検証環境は台数を減らす」「ログの保持期間を業務で必要な日数にする」「検証環境は NAT Gateway 1台・Multi-AZ なし」のように、止まってよい時間とのトレードオフで決めることです。

    運用のルールとして、次の点を開発会社と決めておくと安心です。

    • 「アラームは誰が受け取り、夜間・休日は何分以内に対応しますか?その体制は保守契約に含まれていますか?」
    • 「障害時に前の版に戻す手順はありますか?最後に試したのはいつですか?」
    • 「本番のコンテナでコマンドを実行できる人は誰ですか?実行の記録は残りますか?」
    • 「毎月の AWS の費用は誰が確認し、増えたときに何を見直しますか?」
    • 「依存ライブラリやベースイメージの更新は、どのくらいの頻度で、誰の費用で行いますか?」

    まとめ

    第12回では、動かし続けるための仕組みを加えて、連載を締めくくりました。

    • アラームは画面・裏の処理・アプリ・DB の4つを見張り、説明文に「最初に見るところ」を書く
    • スケジューラの停止は heartbeat のログが途絶えたことで気づく
    • web は CPU の目標追跡で台数を自動で変え、上限は費用の上限として決める
    • サーキットブレーカーで壊れたデプロイを自動で戻し、戻ったことをワークフローでも検知する
    • ECS Exec で調査と最初の管理者の作成を行い、手順と権限を手順書で管理する

    12回にわたってお読みいただき、ありがとうございました。管理画面を「作る」ことと「運用し続ける」ことは、どちらも発注の段階で決めておくことがたくさんあります。この連載のコードと発注者向けメモが、開発会社との打ち合わせのたたき台になれば幸いです。

    この連載の記事一覧

    この記事は連載「Laravel+Vue.jsで作る管理画面をECSで動かす」の1回です。連載のほかの回は次のとおりです(連載の一覧ページ)。

    システム制作・運用・保守のお問い合わせはこちら

      お問い合わせ


      よかったらシェアしてね!
      • URLをコピーしました!
      • URLをコピーしました!

      この記事を書いた人

      株式会社THIRD HERO代表取締役 朝野貴朗
      Webシステム開発を中心に、toC向けサービスサイトの運営、ツール開発などを行ってまいりました。

      コメント

      目次