AIに要約しろと言わない技術

CC BY 4.0

なぜ、🤖AIが要約すると母数が落ちるのか

母数が落ちるのは、🤖AIの報告が要約だからです。第 5 回で見たとおり、🤖AIが止まるのは、仕事が終わったように見えたところです。🤖AIは、そこで報告を書きます。

前回見たとおり、その報告の「0 件」は、🤖AIがその場で書いた文です。コマンドは母数まで出力していました。🤖AIが書いたのは、そのうちの「0 件」だけです。

Anthropic が公開しているプロンプトの指針は、レビューを頼むときに「重大な問題だけ」「保守的に」と言うと、モデルはその指示を書いてあるとおりに守って報告を減らすと書いています。別のモデルのページには、同じ深さで調べていても、報告に変える件数のほうが減るとあります。

指針が書いているのは、🤖AIに指示を与えたときの話です。冒頭の 4 回の報告でも、🤖AIは、コマンドが出力した母数を、報告に載せませんでした。

数えるコマンドを置いても、その数字が👤私に届くまでに🤖AIを通れば、🤖AIがそこで要約します。

🤖AIが書いた「0 件」は、コマンドが出力した数字の行より後に、コンテキスト（🤖AIの作業記憶）へ入ります。そしてコンテキストが上限に近づくと、Claude Code は古いツールの出力から先に消し、それでも足りなければそれまでのやり取りを要約します。コマンドが出力した数字の行はツールの出力の側にあるので、先に消えます。

あとに残るのは、母数の落ちた「0 件」のほうです。そのあと🤖AIが判断の材料にするのも、この「0 件」です。そのときには、母数は数字の行と一緒にコンテキストから消えていて、169 が少なすぎないかを確かめる材料は、もう無くなっています。

仕組み: 数字の行に付ける決まった書き出しと、その行を最終応答と照らし合わせるhook

👤私が🤖AIに「そのまま貼って」と頼むこともできます。ただ、それは指示です。第 6 回で見たとおり、指示が守られるのは、🤖AIがその指示を読んだときだけです。

だから👤私は、頼む代わりに 2 つのものを置きます。数字の行に付ける決まった書き出しと、その行を最終応答（🤖AIが返事の最後に書くメッセージ）と照らし合わせるhook（コマンド実行などの直前・直後に割り込むスクリプト）です。

まずコマンドの側です。コマンドが出力する数字の行の先頭に、決まった書き出しを付けます。数字の行には、何を数えたかと母数を、数字と同じ行に入れます。何を数えたかが無いと、数字が並んだときに、どの数字が何の数かが決まりません。hookは数字の行を 1 行ずつ拾って照らし合わせるので、別の行に書いたものは、👤私に届く行に入りません。

# 語の一覧表の突き合わせ。「0 件」だけでは、169 が少なすぎないかを読む側が疑えない
puts "[observed] glossary: #{rows.size} terms x #{chapters.size} chapters, #{bad.size} mismatches"

つぎにhookです。

# 手元のコードを短くしたもの。pending は覚えておいた行、last_message は AI の最終応答、
# squeeze は突き合わせの前に空白を落とす関数（飾ると別の文字列になる）
# ツールの後: 出力から、その書き出しの行を拾って覚えておく
for line in tool_output.splitlines():
    if line.lstrip().startswith("[observed]"):
        append(line.strip())

# 返事の終わり: 最終応答に無い行は、hook がそのまま出す
missing = [l for l in pending if squeeze(l) not in squeeze(last_message)]
if missing:
    emit({"systemMessage": "lines the command printed:\n" + "\n".join(missing)})

このhookが最終応答に求める条件は、数字の行が書き出しごと入っていることだけです。母数が書き足されていることや、数字の説明があることは、条件に入っていません。

このhookが照らし合わせるのは、最終応答だけです。最終応答より前のメッセージでは、🤖AIが数字を要約することもあります。ただ、🤖AIが最終応答に数字の行を貼れば、コマンドの数字はそこでコンテキストに入り、👤私の画面に出るのと同時に、そのあと🤖AIが判断に使う材料にもなります。

hookが出した数字の行が表示されるのは、👤私の画面だけです。🤖AIのコンテキストに入るのは、🤖AIが自分で貼った数字の行のほうです。

数字の行に書き出しを付けたあとで、別の問題が一つ見つかりました。今度、数字の行を落としたのは、👤私がテストを走らせるときに使う実行ラッパーでした。このラッパーは、ログの全文をファイルへ残し、画面には一部の行だけを出力する作りです。ラッパーの出力が拾っていたのは、テスト結果の行だけでした。その日、画面に出た数字の行は 0 行でした。いまはラッパーが、数字の行も拾って画面に出します。ラッパーが画面に出す行は、hookが照らし合わせる範囲の外です。

CC BY 4.0 はここまで

CC BY 4.0

検証手順: 最終応答に数字の行が無いときだけ、hookがその行を出すことを確かめる

前提

数字を出力するコマンドを一つ選び、その数字の行の先頭に決まった書き出しを付け、母数も同じ行に入れておきます。その数字の行が、コマンドを走らせたときに画面へ出ていることも確かめておきます。ここから先の手順で見るのは、🤖AIの側だけです。数字の行を最終応答と照らし合わせるhookは、2 か所に登録しておきます（ツールの後 = 数字の行を覚えておく / 返事の終わり = 最終応答と照らし合わせる）。

所要時間: 10 分

手順

1. 📖あなたが🤖AIに、そのコマンドを走らせて結果の数字を報告するように頼みます。このとき、わざと、🤖AIが数字を要約するように誘う頼み方をします
2. 📖あなたが、🤖AIの返事のあとに、数字の行が出てくるかを見ます
3. 📖あなたが、同じことをもう一度頼み、今度は数字の行をそのまま貼らせます。そのうえで、返事のあとに何も出てこないことを見ます
4. 📖あなたが、書き出しを付けていないコマンドで同じことを頼み、何も出てこないことを見ます

合格条件（すべて満たすこと）

合格の条件は 3 つです。手順 2 では、数字の行がそのまま出ていることを確かめます。手順 3 では、何も出ないことを確かめます。この条件が無いと、同じ数字の行を毎回二度出すhookでも、合格に見えるからです。手順 4 で何も出なければ、書き出しの無い出力まで拾っていないことも分かります。

合格しなかったとき

• 手順 2 で何も出ない —— hookの登録が、2 か所のうち片方だけです。ツールの後と返事の終わりの両方に登録が要ります
• 貼っても出てくる —— 🤖AIが数字の行を飾っています。数字の行を太字にしたり、数字の行の中に語を混ぜたりすると、別の文字列になります。そのまま貼るとは、コマンドが出力した文字列を変えずに貼ることです
• 前の作業の数字の行まで出てくる —— hookが、覚えた数字の行を、返事が終わっても残したままにしています

後始末

hookが覚えていた数字の行の記録を消します（次に検証するときに、古い数字の行が出てこないように）。

CC BY 4.0 はここまで