この記事は、連載「読まない技術」の第 9 回です。うまくいかない症状と、その対処を一つずつ並べています。各回はファイルやスクリプトを一つ置けば完結します。その仕組みがなぜ要るのかは、置いたあとに解説を読めば分かります。連載の全体像と各回の一覧は序論にあります。

今回は、AI が書く引き継ぎ文と完了報告の話です。引き継ぎは書いた側の要約で、都合の悪いものから落ちます。報告は止まったことしか教えない。それを読むのをやめた理由を扱います。

typingtube（YouTube の音楽動画でタイピング練習ができる、個人運営の Web サービス）の開発で、セッションの終わりに AI が書く完了報告や引き継ぎ文を、私は読んでいません。読んでいた頃に気づいたことがあります。そこから確かに分かるのは、AI がそこで処理を止めた、ということだけでした。隠蔽ではありません。要約とは重要度の判断で、その判断は書いた AI の「完了に寄った文脈」で行われます。第 5 回で見たとおり、十数回のリトライは「完了しました」に要約されます。テストを 3 割しか走らせていなくても「テストは通っています」は本当のことです。報告をいくら丁寧に読んでも、落とされたものは読めません。

引き継ぎ文では、その落ちたぶんがそのまま次へ渡ります。次のセッションを始めるのは別の作業者です。その作業者が持っているのは、書かれた文だけです。

理解したことは一文にできます。

引き継ぎの文章は書いた側の要約で、都合の悪いものから落ちる。報告は止まったことしか教えない。

CC BY 4.0

なぜ、報告は止まったことしか教えないのか

報告は作業の記録ではなく、終わった時点のコンテキストを材料にしてその場で書かれた説明です。説明と実際が食い違うことは、測られています。Turpin ほかは 2023 年に、説明はモデルの予測の本当の理由を、系統的に誤って表しうると報告しました。答えが常に (A) になっている実演をいくつか先に見せると、モデルはその並びに従って答えながら、説明のほうではそのことに一度も触れません。AI が隠したのではなく、説明のほうに出てこない、というのが測られた形です。

報告が寄る向きも決まっています。公開されている claude.ai のシステムプロンプトには、最後のツール呼び出しのあと、「Done.」のような締めだけでは返答にならないと打ち消す一文があります。提供者がわざわざ打ち消しているのは、打ち消さなければその締め方が出るからです。報告は、頼まなくても出てきます。第 1 回で見た標準コマンドと同じ側にあるもので、指示ファイルの 1 行より優先順位が上にあります。

だから、報告は AI の自己申告でしかなく、出てきたこと自体は何の知らせにもなりません。読み取れるのは、AI がそこで止めたということだけです。落ちたかどうかは、報告の中を探しても出てきません。同じことを、Claude Code のドキュメントは成功を主張させるのではなく、証拠を見せさせよと書いています。

仕組み: 新しく置くものはありません

私は報告を開かず、代わりのものも置いていません。読むのをやめただけです。

ただ、見ているものが少しだけあります。この連載が 1 回に 1 つずつ並べてきた症状です。同じ失敗への対処を書いたのにまた同じ失敗をしている（第 8 回）、並列で走るセッションの共有メモリが荒れている（第 7 回）、テストは通っているのに何を守っているのか分からない（第 3 回）。どれも一度は自分で踏んだ形なので、覚えています。報告を読み解いているのではなく、覚えた症例に当たるものが目に入るかどうかだけです。

読まなくなったもの

引き継ぎ文と完了報告です。文章のほうをどれだけ読んでも、落とされたものは出てこないからです。

CC BY 4.0

注意: 報告にしかないものは、分からないままです

読まないと決めた以上、報告にしか書かれていないことは、落ちたままになります。私はそれを取り戻していません。

検証手順: 報告と件数が食い違うところを見る

前提

  • テストの実行件数が、作業の終わりに毎回出るようにしてあること
  • 前回の実行件数が、あなたの手元に残っていること

所要時間: 10 分

手順

  1. あなたが、テストを 1 ファイル分だけ読み込まれない状態にします（別の場所へ移すか、丸ごとコメントにします）
  2. あなたが、AI に「テストを走らせて、通るか見て」と頼みます
  3. AI が報告を書いたら、あなたが、報告の文と実行件数の行を並べます

見るところ

  • 報告の文が、通ったことを告げているかどうか
  • 実行件数が、前回より減っているかどうか
  • 報告の中に、件数が減ったことが書かれていたかどうか

後始末

  • あなたが、手順 1 で動かしたテストを戻します

この手順で見えるのは、報告と件数が離れることがある、というところまでです。件数が合っていても、その行が数えていないところは何も言いません。

次回は「AI に要約しろと言わない技術」。AI に「まとめて」と言うのをやめました。それには深い理由があります。

連載「読まない技術」