全部走らせない技術

CC BY 4.0

仕組み: 走らせていない領域を、一覧と数の 1 行で毎回出す

この仕組みを作るのは、三つの変更です。一つ目に、重いテストに領域名を付け、その領域名を指定したときだけ走るようにします。領域名を指定するのは、テストを走らせるときの環境変数 E2E です。

# 重いテストの側（例: 決済フローの E2E）
setup do
  skip "runs only with E2E=payment" unless ENV["E2E"].to_s.split(",").include?("payment")
end

二つ目に、ラッパーが、テストを走らせるたびに、要約の末尾に、走らせていない領域の一覧を出します。三つ目に、ラッパーは、その下に、走らせていない領域の数を、決まった書き出し（[observed]）の 1 行で出します。

# scripts/test.sh の要約の最後に足す（短くしたもの: 単一指定を想定。手元のコードは複数指定と領域の説明に対応）
not_run=$(grep -rhoE 'E2E=[a-z_]+' test/ | sed 's/E2E=//' | sort -u | grep -vx "${E2E:-__none__}")
echo "[E2E] areas run: ${E2E:-none}"
echo "[E2E] the following areas were not run. Re-run with E2E='<area>' only when you touched them:"
printf '%s\n' "$not_run" | sed 's/^/  - /'
echo "[observed] E2E: areas not run $(printf '%s\n' "$not_run" | grep -c .)"

👤私の環境では、要約の末尾は次の形です。

[E2E] areas run: payment
[E2E] the following areas were not run. Re-run with E2E='<area>' only when you touched them:
  - thumbnail generation (writes real images)
  - rate limiting (repeats real requests up to the threshold)
  - score posting → propagation to aggregates
  - batch idempotency (run twice, same values)
  …

👤私の環境では、領域名を指定せずにテストを走らせるたびに、この一覧に 22 個の領域が 1 行ずつ並びます。

一覧は、🤖AI が走らせ直すかを決めるためのものです。決済のコードを触ったあと、🤖AI が普段どおりテストを走らせると、決済の重いテストはスキップされ、一覧に、payment が載ります。一覧の見出しにあるのは、領域名を指定して走らせ直す指示（Re-run with E2E='<area>'）です。🤖AI が要約を絞らずに受け取れば、報告を書く前に、E2E=payment を付けて決済の重いテストだけを走らせ直すことができます。上の出力は、この走らせ直しのあとの要約で、一覧から、payment が消えています。

数の行は、🤖AI の報告を通さずに👤私の画面へ出すための行です。[observed] で始まる行を拾うのは、1 作目 第 10 回で置いた hook です。この hook は、🤖AI の最終応答にこの行がそのまま入っていなければ、hook 自身がその行を👤私の画面に出し、🤖AI が出力を | grep で絞って受け取ったときも、ラッパーが残したログからこの行を拾います。🤖AI が報告を、全量が通ったという形に畳んでも、その下に、走らせていない領域の数が出ます。

CC BY 4.0 はここまで

CC BY 4.0

注意: 「触ったのに走らせ忘れる」は残る

この一覧と数の行がするのは、走らせ忘れを見えるようにすることまでです。決済を触った日に、🤖AI が E2E=payment を付け忘れることはあり得ます。その走らせ忘れに気づけるのは、一覧に、payment が載っているのを、🤖AI か👤私が読んだときです。

検証手順: 領域名を指定しない実行と、指定した実行を一度ずつ

前提

重いテストを 1 つ以上選んで領域名を付け、その領域名が指定されたときだけ走る形にしておきます。ラッパーの要約の末尾には、走らせていない領域の一覧を出す処理を足し終えておきます。

所要時間: 10 分

手順

1. 📖あなたが、普段どおりに（領域名を指定せずに）テストを走らせます
2. 📖あなたが、領域名を指定してテストを走らせます（E2E=<領域名> のように）

合格条件（すべて満たすこと）

合格の条件は 3 つです。手順 1 では、要約の末尾の一覧に、その領域名が載っていることを確かめます。手順 2 では、その重いテストが実際に走り（要約の件数が手順 1 より増えます）、末尾の一覧から、その領域名が消えていることを確かめます。

合格しなかったとき

• 一覧が空のまま変わらない —— ラッパーが、テストコードから領域名を拾うことができていません。一覧の中身は「指定した領域を引いた残り」なので、空の一覧は、「全部走った」より「拾うことができていない」の可能性のほうが高いと思ってください

後始末

要りません。この検証は何も壊しません。

この検証で確かめたのは、走らせていない領域が一覧に出ることだけで、走らせ忘れを防ぐことは別です。

CC BY 4.0 はここまで