実験しない技術

私はもう、確かめるためにプロダクトを動かしません。連載「動かさない技術」は、前の 4 作で「こうすれば効く」と書いてきたことを、答えの分かっている問題で測り直してきた記録です。この記事が最終回になります。各回の測り方は序論の一覧から辿れます。

白状することが一つあります。

私は、9 回とも実験しています

「動かさない技術」と題した連載なのに、9 回とも終わりに実験の手順が置いてあります。答えの分かる題材を作り、会話を引き継がない AI の作業者を何体か起動し、条件を 1 つだけ変えて、返ってきたものを正解表と突き合わせる。プロダクトを動かさない代わりに、私は毎回、別のものを動かしていました。

しかも、実験の数は 9 回では済んでいません。第 1 回は 3 回、第 6 回は 2 回、条件を組み替えて測り直しています。そして出てきた答えは、たいてい私が測ろうとしたものではありませんでした。

• 第 1 回では、2 回目までの結果から「手間のかかる指示ほど守られなくなる」と結論しかけました。3 回目で外れました
• 第 6 回は、1 回目に作った問いが悪く（読めば確かめられる問いだったので、推測の余地がありませんでした）、問いごと作り直しました
• 第 7 回は「会話が長いほど AI は折れやすい」を測りに行って、短い側も長い側も、取り下げは 4 体中 2 体で同じでした

実験を組む前に書いた予想は、当たるより外れるほうが多かったわけです。⭐ それでも 9 回ぶんの答えを並べ直すと、別の角度から同じことを言っているものが重なります。畳むと 4 つになりました。 この回は、その 4 つの話です。

9 回で分かったことは、4 つに畳めます

各回の終わりに置いた「理解したことは一文」を、似ているものどうしでまとめ直したものです。

A は、第 1 回で隣り合わせに置いた 2 本の指示から出ています。⭐ 中身も、守るのに要る手間も同じで、違うのは「守った跡が成果物に残るかどうか」だけにしました。跡が残らない側の指示は、それだけを置いたときには 8 体中 3 体しか守りません。⭐ ところが、跡が残る指示を隣に 1 行足すと、4 体とも守りました（文面も位置も、1 文字も変えていません）。同じ形は、あとの回にも出ました —— 「必要なら〜してください」と条件を付けた指示が実際に発火したのは 6 体のうち 1 体（第 4 回）。私自身のある 1 セッションでは、使ったトークンの 25.8% が「作業が終わったかどうかを見に行くだけ」に消えていました（第 8 回）。⚠️ どちらも、出来上がったファイルには 1 文字も出ません。 残らないものは数えられないので、増え続けます。

B は、頼み方の一文で結果がひっくり返ったところです。第 5 回では、AI が選んだ 3 件に「もう一度選び直してください」とだけ返すと、12 体中 7 体が 1 位を取り下げました。⭐ 依頼文に「変える必要が無ければ、同じ 3 件をそのまま書いてください」の 1 文を足すと、6 体中 0 体になります。第 6 回も同じでした —— 答えの存在しない問いに禁止だけを渡した 4 体は全員が成果物を作らずに帰り、「分からなければ、分からないと書いてください」を足した 4 体は全員が書いて返しました。⚠️ 相手の能力ではなく、こちらの文面が、相手の選べる答えを決めています。

C は、1 バイトも違わない同じ課題を 12 体に渡した第 3 回です。各体に 3 件ずつ選ばせたので理由の文は 36 件あり、36 件が 36 通りで、同じ文は 1 つもありませんでした。選ばれた項目は、40 件のうち 9 件に散っています。⭐ ところが、その 9 件を欠陥の種類（題材を作るときに機械が決めた 6 種類）で数え直すと、2 種類に収まりました。第 7 回でも、まったく同じ押し返しに対して、4 体のうち 2 体が取り下げ、1 体が据え置き、残る 1 体は順位を下げただけでした。⚠️ 1 体に聞いて返ってきた答えは、この散らばりの中の 1 点です。

D は、書いたものが読まれたあとの話です。第 2 回で、指示ファイルに「ログを見るときはこのコマンドを使ってください」と 1 行書くと、4 体ともそのコマンドを呼びました。⚠️ ところが、そのうち 3 体は途中で素のコマンドに戻ります。 用意した道具では足りない用事が出た瞬間に戻り、そのまま帰ってきませんでした。第 9 回も同じ形です。前の担当者が残したメモに書いてある数を、12 体のうち 11 体が自分で数え直しました。⚠️ メモが 3 つとも合っていた 3 体も、3 体とも数え直しています。 書いたものは読まれます。読まれたうえで、手元の用事に負けます。

組み合わせると、測っていないことにも答えが出ます

ここからが本題です。A から D は、9 回ぶんの答えであると同時に、まだ測っていないことに当てる道具になります。

やってみます。下の 3 つは、この連載で 1 度も実験していません。4 つを当てて出した答えです。

「不明な点があれば質問してください」と指示ファイルに書けば、質問は来るか。 B から、来る側に倒れます —— 書いておけば、答えに詰まったときの行き先が 1 つできるからです。⚠️ ただし A から、質問しなかった回は成果物に 1 文字も残りません。 つまり、その 1 行が効いているかどうかを、あなたは確かめられません。⭐ 確かめたいなら、書き方を強めるのではなく、質問そのものが成果物になる形にします ——「不明点は QUESTIONS.md に 1 行ずつ書いてください」。⭐ 第 1 回で、跡が残る側の指示だけが守られたのと同じ手当てです。

AI に自己採点させて、点数が低いときだけやり直させるのは効くか。 A と B から、効きません。 ⚠️ 「点数が低いとき」に当たるかどうかを判定するのは相手で、しかも低いと言わなかった回は成果物に残らないからです。⭐ 第 4 回で測った「必要なら〜してください」と、まったく同じ形をしています —— 条件を付けた瞬間に、その条件を満たしたかどうかの判定まで、相手に渡しています。

前のセッションの要約を渡して、続きをやらせるのは安全か。 D から、数については安全です —— 渡した数は、読む側が自分で数え直すからです。⚠️ 危ないのは逆側で、数え直せないもの（なぜそう決めたのか、どの案を却下したのか、何を試して駄目だったのか）は、確かめようがないので、そのまま前提として引き継がれます。⭐ 第 9 回が測ったのは数のほうだけでした。測っていない側の答えが、測った側から出ています。

3 つとも、実験していません。A から D を当てただけです。

実験しなくなったもの

私は、思いついたことを毎回実験で確かめるのをやめました。 代わりにやっているのは、この順です。

1. ⭐ まず A から D に当てる。 4 つのどれかで説明が付くなら、そこで止めます
2. ⭐ 付かないものだけ、測る。 9 回ぶん測ったのは、そのときまだ 4 つを持っていなかったからです
3. ⚠️ 当てて出した答えには「予測」と書く。 実測と同じ棚に置きません

⚠️ これは「もう測らなくていい」という話ではありません。⭐ 測る目を持ったうえで、毎回は測り直さなくていい形へ移すという話です。第 9 回では、書き残した知見を捨てて、要るときに機械の側から出てくる形へ移しました。⭐ この 4 つは、その置き場所が「読む人の頭の中」になっただけです。

そして、この 4 つ自体が残した知見です。⚠️ 第 9 回の結論がそのまま当たります —— 実物が動いた瞬間から、この 4 つは古くなり始めます。 だから各回に測り方を置きました。信じる必要はありません。走らせてください。

注意: 組み合わせて出した答えは、実測ではありません

⚠️⚠️ この回でいちばん重い注意です。 上の 3 つは、9 回の実測から出した推論であって、測った結果ではありません。外れます。 実際、この連載で私が実験の前に書いた予想は、当たるより外れるほうが多かった。⭐ 外れたと分かったのは、毎回、測ったからです。

⚠️ A から D の母数は、1 回の実験あたり 4 体から 12 体しかありません。強く言えるのは、条件のあいだで結果が完全に分かれたところだけです —— 1 行書かなければ 4 体とも呼ばず、書けば 4 体とも呼んだ（第 2 回）。数を書けと言えば 6 体中 5 体が数え、言わなければ 6 体中 0 体だった（第 8 回）。⚠️ その一方で、たとえば 4 体中 1 体と 4 体中 3 体のような差は、偶然と区別できません。 各回の「注意」に、その線を 1 本ずつ引いてあります。

⚠️ そして、測ったのは 1 つのモデルの、ある時点です。⭐ 世代が変われば、数字は動きます。 A から D は、同じ日・同じモデルの中で条件だけを変えて出た差なので、数字より長持ちするはずですが、⚠️ それも保証ではありません。

⚠️⚠️ もう 1 つ、9 回を通して分けられなかったものがあります。実験の作業者は、このプロジェクトの指示ファイルを毎回渡されて動いています。 そこには「推測で実装しない」「古い記録を鵜呑みにしない」に当たる行が入っていて、第 6 回と第 9 回の結果の一部は、その行だけでも説明が付いてしまいます。⚠️ その行を外して比べた実験は、ありません。 隠さずに書いておきます。

結論

実験しない技術は、実験の結果を組み合わせて使う技術です。

9 回で測ったのは、9 個の思い込みでした。持ち帰るものが 9 個のままなら、10 個目の疑問には 10 回目の実験が要ります。それでは終わりません。⭐ 9 個が 4 つに畳めて、4 つが組み合わさるから、10 個目には実験が要らなくなります。

序論で一つ約束しました。私の数字は、走らせるだけで確かめられます。信じるかどうかを決めるのは、そのあとで間に合います。 ここまで読んだあなたは、もう 1 歩先へ行けます。

技術的な主張を読むとき、あなたはこう読めるはずです —— 母数はいくつか。何と何が分けられていないか。この数字はモデルの世代で動くのか、それとも文の性質の話なのか。⭐⭐ この読み方は、この連載にだけ効くものではありません。

1 作目の題は「読まない技術」でした。読まなくて済む形を作るところから始めて、5 作かけて、読む力を返すところまで来ました。あなたは、他の技術書も読むことができるようになります。 書いてある主張を、それが立っている条件のほうから読めるからです。

⭐ そして、そこまで来ると、新しい道具が出るたびに一から学び直す必要が無くなります。 出てきたものが A から D のどれに当たるかを見れば、たいていは組み合わせで説明が付きます。⚠️ 付かないものだけ、測ってください。

序論で、あなたが「こうすると効く」と信じていることを 1 つ思い出してもらいました。それを最後に確かめたのはいつで、何回ぶんの結果を数えたか。

いま同じ問いに私が答えると、こうなります。数えたのは 9 個で、それぞれ 4 体から 12 体ぶんです。それ以外に私が信じていることは、数えていません。だから、この記事では「予測」と書いてあります。 数えたものと、予測を、同じ棚に置かない。⭐ この連載が渡せるのは、それだけです。

各回の測り方は序論の一覧からどうぞ。前の 4 作の舞台だった本番は、いまも typingtube で動いています。この連載は、そこを一度離れて測った記録です。