--- title: "言わない技術 第9回：AI に考えさせない技術" author: garplab publisher: TypingTube license: CC BY 4.0 license_url: https://creativecommons.org/licenses/by/4.0/ license_scope: 「CC BY 4.0」の印から始まる節（仕組み・検証手順・コード）。印の無い本文は著作権を留保 canonical: https://typing-tube.net/articles/iwanai-09-no-guessing series: "言わない技術" language: ja --- > この記事は、連載「言わない技術」の第 9 回です。各回はファイルやスクリプトを一つ置けば完結します。連載の全体像と各回の一覧は[序論](https://typing-tube.net/articles/iwanai-intro)にあります。 今回は、推測の話です。AI は、開いていないファイルの中身を、開いたかのように話すことがあります。それをどうやってさせないようにするかを扱います。 前作「読まない技術」の[第 4 回](https://typing-tube.net/articles/8f9ae8791b448d)で、**読んだかどうかは測れない**と書きました。測れるのは、ドキュメントを見なければ作られないファイルが在るかどうかだけです。同じ問いが、推測でも立ちます。読んだかどうかが測れないなら、推測したかどうかも測れません。 まず一つだけ、探してみてください。指示ファイル（CLAUDE.md や AGENTS.md）を開いて、「推測しない」「確認してから」を検索します。何行ありますか。そのうち、**確認しなかったときに何かが落ちる**のは何行でしょう。 ## 私の指示ファイルには、1 行だけありました > 推測で実装しない。既存コードを確認してから実装する 102 行のうちの 1 行です。Anthropic のプロンプト指針も、幻覚を減らすためのプロンプト例として同じ文を挙げています——**開いていないコードについて決して推測するな。特定のファイルに言及されたなら、答える前に必ず読め**。 正しい行です。そして、[第 1 回](https://typing-tube.net/articles/iwanai-01-no-verification)で扱った「必ず実行してください」と**まったく同じ形**をしています。読まれたときだけ効く。しかも今回はもっと悪くて、**確認したかどうかは測れません**。「確認しました」と書かれても、それは自己申告です。前作の[第 9 回](https://typing-tube.net/articles/a43b57a94d2216)に書いたとおり、**自己申告は完了に寄ります**。 だから普通は、ここで指示を足したくなります。「必ずファイルを開いてから答えてください」「読んだ行番号を書いてください」。⚠️ **この回はそれをやりません。** 増やす側は[第 6 回](https://typing-tube.net/articles/iwanai-06-subagent-output)の役目で、この連載で「言え」と言うのは 1 回だけと決めています。 ## 同じリポジトリの別の場所は、開かないと**書けない**形でした 手元に、体験設計の原則を並べた文書があります。「こういう体験にする」を 18 個、機械が読める形で書いたものです。1 つはこうなっています。 ```markdown ``` 原則そのものは散文で書きます。**ただし、この 8 行が付いていないと原則として成立しません。** 数えると、18 原則に対して `artifacts` の参照が **53**、`guarded_by` の参照が **27**。1 つの原則を書くのに、平均 4 箇所以上のファイルを名指ししています。 そして、名指しするだけでは通りません。 | 自動テスト | 見ているもの | |---|---| | 1 | 全原則が artifact と guarded_by を**最低 1 つ**持つ | | 2 | 名指しした artifact が**実在する** | | 3 | 名指しした自動テストファイルが**実在する** | | 4 | **自動テストファイルの中**に `# guards: A1` タグが在る | | 5 | **artifact の中**に `@experience-principle A1` マーカーが在る | AI は、参照先のファイルを開いて、その中に目印を書き込まないと通りません。存在しないファイルを挙げれば 2 で落ち、実在するけれど開いていないファイルを挙げれば 5 で落ちます。 **指示は 1 行も増えていません。** 増えたのは、書式のほうの要求です。 理解したことは一文にできます。 > **読んだかどうかは測れない。だから、読まなければ書けないものを、書式のほうから要求する。** ## 仕組み: 名指しした先に、目印を書かせる 置くのは自動テスト 1 本です（実物はメタテスト 6 本ですが、骨はこれだけです）。 ```ruby # test/reference/experience_principles_test.rb（実物からの簡約版） test "each artifact carries an `@experience-principle` marker for a known id" do known_ids = @principles.map { |p| p["id"] }.to_set @principles.each do |p| p["artifacts"].each do |path| content = File.read(REPO_ROOT.join(path)) # 実在しなければここで落ちる markers = content.scan(MARKER_REGEX).flatten assert_includes markers, p["id"], "principle #{p['id']}: marker not found in #{path}" markers.each do |id| assert_includes known_ids, id, "unknown principle id `#{id}` in #{path}" end end end end ``` **目印のほうから未知の ID を指しても落ちます。** 文書とコードのどちらか片側だけを書き換えても通らない形です。 Anthropic のガードレールの指針は、こうも書いています——**「わからない」と言うことを明示的に許可すると、誤情報は劇的に減る**。この構造は、その許可を書式のほうから与えています。目印を書き込めないものは、**原則として書けない**。書けないものを無理に書く道が、そもそもありません。 ## 考えさせなくなったもの 「このファイルはたぶんこうなっている」の部分です。**考える量が減ったのではありません**——原則を 1 つ書くのに、いまは AI が 4 箇所以上のファイルを開いて目印を入れます。減ったのは、**開かずに書ける道**のほうです。 ## 注意: 目印のほうが、多い 正直に書きます。**この構造が保証しているのは片方向だけです。** 数える前は、名指しと目印は 1 対 1 で対応しているつもりでした。そうではありませんでした。原則が名指ししている実ファイルは **43**。一方、`@experience-principle` の目印が書かれているファイルは **75** あります。**32 ファイルは、どの原則も名指ししていません。** つまり——**「名指ししたものは開いた」は保証されます。「開いたものを全部名指しした」は保証されません。** 名指しを 1 つ消せば、目印は宙に浮いたまま、自動テストは合格のままです。 もう一つ。**この形は 18 個だから成立しています。** 原則が 200 個あれば、目印を入れるコストのほうが先に破綻します。⚠️ **すべてのルールをこの形にするのではありません。** これは、前作の[第 6 回](https://typing-tube.net/articles/569d598941c00f)で「自動テストに翻訳できない」と切り分けたほうの——**方針・体験の設計**に当てる形です。 ## 検証手順: 実在するファイルを、開かずに名指しする **前提** - 名指しの書式（参照先のファイルを挙げる欄）と、その先に目印を要求する自動テストを置き終えていること - その自動テストが、**今は通っている**こと - 作業中の変更が無い状態（`git status` が空）から始めること **所要時間**: 10 分 壊し方は 2 つあり、**難しいのは 2 つ目です。** **手順** 1. **あなたが**、名指しの一覧に**実在しないファイル**を 1 つ足します（`app/models/does_not_exist.rb` のような、無いことが明らかなパス）。自動テストを走らせ、結果を控えます 2. **あなたが**、今度は**実在するが目印の無いファイル**を 1 つ足します（`config/routes.rb` のような、確実にあるファイル）。自動テストを走らせ、結果を控えます **合格条件**（すべて満たすこと） - 手順 1 で、自動テストが**落ちる** - 手順 1 のメッセージに、**そのパスが名指しされていること**が出る - 手順 2 でも、自動テストが**落ちる** - 手順 2 のメッセージは、**「目印が見つからない」という別の理由**になっている **合格しなかったとき** - **手順 2 で落ちない** —— ⚠️ **ここが本体です。** その自動テストは実在しか見ていません。**開かずに名指しする道が空いたまま**になっています - **手順 1 と手順 2 で同じ理由が出る** —— 2 つの壊れ方を区別できていません。直す側（AI でも、あなたでも）が、どちらを直せばよいか分かりません **後始末** - 足した 2 行を消し、自動テストが合格に戻ることと `git diff` が空になることを確かめます ⚠️ 手順 1 は「打ち間違いの検出」、手順 2 は「**開いていないものを名指しした**」の検出です。手順 1 だけを確かめて満足すると、実在チェックしか無い自動テストを、実在＋確認の自動テストだと思い込みます。 --- 次回は「質問に答えない技術」。**AI から「A と B、どちらにしますか」と聞かれても、私は答えていません。**それでも、作業は止まりません。 --- **連載「言わない技術」** - ← 前回: [第 8 回 AI にダメ出ししない技術](https://typing-tube.net/articles/iwanai-08-no-criticism) - → 次回: [第 10 回 質問に答えない技術](https://typing-tube.net/articles/iwanai-10-no-answering) - 全回の一覧: [序論](https://typing-tube.net/articles/iwanai-intro)