確かめるためにプロダクトを動かすのを、はやめました。代わりにこの連載の 9 回では、サブエージェントに題材を渡して実験し、症状がどのAIの性質から出るかを確かめてきました。たとえば、AI が依頼文を文字どおりに読むことです。困るのは、症状が 1 つの性質からだけ出るとは限らないことです。回ごとに別々に確かめた性質が組み合わさると、どの回でも測っていない症状が出ます。その症状に会うたびに実験していたら、実験は終わりません。
白状することが一つあります。
は、9 回とも実験しています
「動かさない技術」と題した連載なのに、は 9 回とも、終わりに実験手順を置いています。症状がどの性質から出るかを確かめるために、は毎回、サブエージェントを何回も起動していました。
9 回で確かめた AI の性質
各回の「なぜ」の節で、は症状の原因を、公式の記述で確かめてきました。並べると、次の 5 つです。
| 性質 | 公式の記述 | 確かめた回 | |
|---|---|---|---|
| ① | 書いた指示に従うかは、AI が選ぶ | 指示ファイルもメモリも文脈であって、強制される設定ではない | 第 1・2・4・8 回 |
| ② | AI は依頼文を文字どおりに読み、頼まれていないことを推測で足さない | モデルはプロンプトを文字どおり、明示的に解釈する | 第 5・6・8 回 |
| ③ | AI は前の会話を持たずに始まり、前のセッションから届くのはファイルに書いたものだけ | セッションは毎回、まっさらなコンテキストから始まる | 第 7・9 回 |
| ④ | AI は、標準のコマンドや、コードから導けることを、書かれていなくても自分で使う | 指示ファイルにはAI が既に知っている標準的な慣習を書かない / /doctor はClaude がコードベースから導ける内容を削ります | 第 2・9 回 |
| ⑤ | セッションが長いほど、1 回のやり取りに使う量が増える | リクエストのたびに、それまでのやり取りの全体を送る | 第 7・8 回 |
どの回も、症状は 1 つの指示か 1 つの依頼文で測りました。第 4 回で、「ほかのやり方を使うときは、その前に理由を書いてください」という行を置くと、ほかのやり方を使った 3 回のうち、先に理由を書いた回は 0 回でした（①）。第 9 回で、前の担当者のメモに書いた数を、12 回のうち 11 回で、AI は一覧から自分で数え直しました（④）。
学んだ性質は、組み合わさって症状を出します
あなたは、仕事の切れ目でセッションを閉じています（第 7 回）。指示ファイルには、コードから数えることのできる数を書かなくなりました（第 9 回）。ある日、新しいセッションのAIが、前のセッションであなたが理由を挙げて却下した案を、また提案してきました。あなたは、却下したことを、前のセッションの会話の中でだけ伝えていました。あなたなら、次のどちらで対処しますか。
- 実験で原因を確かめてから、対処を決める
- 学んだ性質に当てて原因をたどってから、対処を決める
答えは、性質に当てるほうです。AI は前の会話を持たずに始まり、前のセッションから届くのは、ファイルに書いたものだけです（③）。却下したことは会話の中でだけ伝えていたので、新しいセッションのAIには届いていません。そして、却下の理由は、コードを読んでも導けません。AI がコードから自分で導くのは、数や構成のように、コードに書いてあることです（④）。届かず、導くこともできないので、新しいセッションのAIにとって、その案は却下されていない案です。実験で確かめることになるのは、この 2 つの性質です。③ は第 7 回と第 9 回で、④ は第 2 回と第 9 回で、公式の記述として確かめてあります。性質に当てれば、実験の前に対処が決まります。その対処は、却下した案と、その理由を、ファイルに文章で残すことです。第 9 回の表で、判断の理由や経緯を「文章で残す」側に置いたのと同じ置き場です。
理解したことは一文にできます。
AI の性質は、測った指示の外でも同じに働き、組み合わさると、どの回でも測っていない症状を出す。だから、新しい症状に会ったら、実験する前に、学んだ性質のどれとどれから出た症状かをたどってから、対処を置く。
なぜ、測っていない症状でも、原因をたどることができるのか
9 回でが測ったのは、どれも 1 つの指示か 1 つの依頼文でした。それでも、各回の「なぜ」の節で引いた公式の記述は、その指示に限った話ではありません。
メモリのページが「文脈であって、強制される設定ではない」と書いているのは、指示ファイルとメモリに書いたもの全部です。Opus 4.8 のページが「文字どおり、明示的に解釈する」と書いているのは、プロンプト全般です。「セッションは毎回、まっさらなコンテキストから始まる」は、どのセッションにも当てはまります。
性質がどの指示にも同じに働くので、測っていない症状でも、表のどの性質から出たかをたどることができます。却下した案がまた出てきた症状で組み合わさっていたのは、別々の回で確かめた ③ と ④ です。
実験しなくなったもの
は、新しい症状に会うたびに、実験で確かめるのをやめました。以前のは、思い込みを 1 つ見つけるたびに、題材を作り、条件を分け、サブエージェントを起動していました。
いまは、症状を表の性質に当てて、どの性質とどの性質が組み合わさって出たかをたどってから、対処を置きます。は、たどって決めた対処と、実験で測ったことを、分けて書いておきます。
注意: たどることができるのは、表の性質から出た症状だけです
表に無い性質から出た症状は、表に当ててたどっても、原因に届きません。たどっても説明が付かない症状だけを、は測ります。
結論
実験しない技術は、学んだAIの性質を組み合わせて、測っていない症状の原因をたどる技術です。
9 回でが測ったのは、1 回に 1 つの指示でした。症状は、測った指示の外でも、性質の組み合わせから出ます。症状のたびに実験していたら、実験は終わりません。性質を組み合わせてたどれば、実験の前に対処が決まります。
は序論で、の数字は、実験手順を走らせるだけで確かめることができる、と約束しました。各回の実験手順を走らせれば、表の性質から出た症状を、あなたの環境で確かめることができます。
そして、あなたは、新しいツールや、技術書が勧める書き方に出会っても、一から学び直さずに済みます。それがどの性質に当たるかを見れば、組み合わせで説明が付くかどうかが分かるからです。
説明が付かないものだけを、測ってください。
各回の測り方は序論の一覧からどうぞ。前の 4 作の舞台だった本番は、いまも typingtube で動いています。この連載は、そこを一度離れて測った記録です。