--- title: "動かさない技術 最終回：実験しない技術" author: garplab publisher: TypingTube license: All rights reserved license_scope: 記事の全体（序論・最終回は CC BY 4.0 の対象外）。引用は法の範囲で自由 canonical: https://typing-tube.net/articles/ugokasanai-finale series: "動かさない技術" language: ja --- 私はもう、確かめるためにプロダクトを動かしません。連載「動かさない技術」は、前の 4 作で「こうすれば効く」と書いてきたことを、答えの分かっている問題で測り直してきた記録です。この記事が最終回になります。各回の測り方は[序論](https://typing-tube.net/articles/ugokasanai-intro)の一覧から辿れます。 白状することが一つあります。 ## 私は、9 回とも実験しています 「動かさない技術」と題した連載なのに、9 回とも終わりに実験の手順が置いてあります。答えの分かる題材を作り、会話を引き継がない AI の作業者を何体か起動し、条件を 1 つだけ変えて、返ってきたものを正解表と突き合わせる。**プロダクトを動かさない代わりに、私は毎回、別のものを動かしていました。** しかも、実験の数は 9 回では済んでいません。第 1 回は 3 回、第 6 回は 2 回、条件を組み替えて測り直しています。そして出てきた答えは、たいてい私が測ろうとしたものではありませんでした。 - [第 1 回](https://typing-tube.net/articles/ugokasanai-01-no-procedure-enforcement)では、2 回目までの結果から「手間のかかる指示ほど守られなくなる」と結論しかけました。3 回目で外れました - [第 6 回](https://typing-tube.net/articles/ugokasanai-06-no-blocking-exits)は、1 回目に作った問いが悪く（読めば確かめられる問いだったので、推測の余地がありませんでした）、問いごと作り直しました - [第 7 回](https://typing-tube.net/articles/ugokasanai-07-no-long-sessions)は「会話が長いほど AI は折れやすい」を測りに行って、**短い側も長い側も、取り下げは 4 体中 2 体で同じ**でした 実験を組む前に書いた予想は、当たるより外れるほうが多かったわけです。⭐ **それでも 9 回ぶんの答えを並べ直すと、別の角度から同じことを言っているものが重なります。畳むと 4 つになりました。** この回は、その 4 つの話です。 ## 9 回で分かったことは、4 つに畳めます 各回の終わりに置いた「理解したことは一文」を、似ているものどうしでまとめ直したものです。 | | 分かったこと | 出どころ | |---|---|---| | **A** | **成果物に残らない行為は、守られないし、積み上がる** | 第 1 回 / [第 4 回](https://typing-tube.net/articles/ugokasanai-04-no-conditional-instruction) / [第 8 回](https://typing-tube.net/articles/ugokasanai-08-no-artifact-judgment) | | **B** | **依頼文が、相手の選べる答えを決めている** | [第 5 回](https://typing-tube.net/articles/ugokasanai-05-no-reselection) / 第 6 回 | | **C** | **同じものを渡しても、返ってくるものは散る。揃うのは種類のほう** | [第 3 回](https://typing-tube.net/articles/ugokasanai-03-no-aggregation) / 第 7 回 | | **D** | **書いて渡したものより、読む側の目の前の用事のほうが強い** | [第 2 回](https://typing-tube.net/articles/ugokasanai-02-no-wrapper-enforcement) / [第 9 回](https://typing-tube.net/articles/ugokasanai-09-no-knowledge-notes) | **A** は、第 1 回で隣り合わせに置いた 2 本の指示から出ています。⭐ **中身も、守るのに要る手間も同じで、違うのは「守った跡が成果物に残るかどうか」だけ**にしました。跡が残らない側の指示は、それだけを置いたときには **8 体中 3 体**しか守りません。⭐ ところが、**跡が残る指示を隣に 1 行足すと、4 体とも守りました**（文面も位置も、1 文字も変えていません）。同じ形は、あとの回にも出ました —— 「必要なら〜してください」と条件を付けた指示が実際に発火したのは **6 体のうち 1 体**（第 4 回）。私自身のある 1 セッションでは、**使ったトークンの 25.8%** が「作業が終わったかどうかを見に行くだけ」に消えていました（第 8 回）。⚠️ **どちらも、出来上がったファイルには 1 文字も出ません。** 残らないものは数えられないので、増え続けます。 **B** は、頼み方の一文で結果がひっくり返ったところです。第 5 回では、AI が選んだ 3 件に「もう一度選び直してください」とだけ返すと、**12 体中 7 体**が 1 位を取り下げました。⭐ 依頼文に「変える必要が無ければ、同じ 3 件をそのまま書いてください」の 1 文を足すと、**6 体中 0 体**になります。第 6 回も同じでした —— 答えの存在しない問いに禁止だけを渡した 4 体は**全員が成果物を作らずに帰り**、「分からなければ、分からないと書いてください」を足した 4 体は**全員が書いて返しました**。⚠️ **相手の能力ではなく、こちらの文面が、相手の選べる答えを決めています。** **C** は、1 バイトも違わない同じ課題を 12 体に渡した第 3 回です。各体に 3 件ずつ選ばせたので理由の文は 36 件あり、**36 件が 36 通り**で、同じ文は 1 つもありませんでした。選ばれた項目は、40 件のうち **9 件**に散っています。⭐ ところが、その 9 件を**欠陥の種類**（題材を作るときに機械が決めた 6 種類）で数え直すと、**2 種類**に収まりました。第 7 回でも、まったく同じ押し返しに対して、4 体のうち 2 体が取り下げ、1 体が据え置き、残る 1 体は順位を下げただけでした。⚠️ **1 体に聞いて返ってきた答えは、この散らばりの中の 1 点です。** **D** は、書いたものが読まれた**あと**の話です。第 2 回で、指示ファイルに「ログを見るときはこのコマンドを使ってください」と 1 行書くと、**4 体とも**そのコマンドを呼びました。⚠️ **ところが、そのうち 3 体は途中で素のコマンドに戻ります。** 用意した道具では足りない用事が出た瞬間に戻り、そのまま帰ってきませんでした。第 9 回も同じ形です。前の担当者が残したメモに書いてある数を、**12 体のうち 11 体**が自分で数え直しました。⚠️ **メモが 3 つとも合っていた 3 体も、3 体とも数え直しています。** 書いたものは読まれます。読まれたうえで、手元の用事に負けます。 ## 組み合わせると、測っていないことにも答えが出ます ここからが本題です。**A から D は、9 回ぶんの答えであると同時に、まだ測っていないことに当てる道具になります。** やってみます。下の 3 つは、この連載で 1 度も実験していません。**4 つを当てて出した答え**です。 **「不明な点があれば質問してください」と指示ファイルに書けば、質問は来るか。** B から、**来る側に倒れます** —— 書いておけば、答えに詰まったときの行き先が 1 つできるからです。⚠️ ただし A から、**質問しなかった回は成果物に 1 文字も残りません。** つまり、その 1 行が効いているかどうかを、あなたは確かめられません。⭐ 確かめたいなら、書き方を強めるのではなく、**質問そのものが成果物になる形**にします ——「不明点は `QUESTIONS.md` に 1 行ずつ書いてください」。⭐ **第 1 回で、跡が残る側の指示だけが守られたのと同じ手当てです。** **AI に自己採点させて、点数が低いときだけやり直させるのは効くか。** A と B から、**効きません。** ⚠️ 「点数が低いとき」に当たるかどうかを判定するのは相手で、しかも低いと言わなかった回は成果物に残らないからです。⭐ **第 4 回で測った「必要なら〜してください」と、まったく同じ形をしています** —— 条件を付けた瞬間に、その条件を満たしたかどうかの判定まで、相手に渡しています。 **前のセッションの要約を渡して、続きをやらせるのは安全か。** D から、**数については安全です** —— 渡した数は、読む側が自分で数え直すからです。⚠️ 危ないのは逆側で、**数え直せないもの**（なぜそう決めたのか、どの案を却下したのか、何を試して駄目だったのか）は、確かめようがないので、そのまま前提として引き継がれます。⭐ **第 9 回が測ったのは数のほうだけでした。測っていない側の答えが、測った側から出ています。** 3 つとも、実験していません。**A から D を当てただけです。** ## 実験しなくなったもの 私は、**思いついたことを毎回実験で確かめるのをやめました。** 代わりにやっているのは、この順です。 1. ⭐ **まず A から D に当てる。** 4 つのどれかで説明が付くなら、そこで止めます 2. ⭐ **付かないものだけ、測る。** 9 回ぶん測ったのは、そのときまだ 4 つを持っていなかったからです 3. ⚠️ **当てて出した答えには「予測」と書く。** 実測と同じ棚に置きません ⚠️ これは「もう測らなくていい」という話ではありません。⭐ **測る目を持ったうえで、毎回は測り直さなくていい形へ移す**という話です。第 9 回では、書き残した知見を捨てて、要るときに機械の側から出てくる形へ移しました。⭐ **この 4 つは、その置き場所が「読む人の頭の中」になっただけです。** そして、この 4 つ自体が**残した知見**です。⚠️ **第 9 回の結論がそのまま当たります —— 実物が動いた瞬間から、この 4 つは古くなり始めます。** だから各回に測り方を置きました。信じる必要はありません。走らせてください。 ## 注意: 組み合わせて出した答えは、実測ではありません ⚠️⚠️ **この回でいちばん重い注意です。** 上の 3 つは、9 回の実測から出した推論であって、測った結果ではありません。**外れます。** 実際、この連載で私が実験の前に書いた予想は、当たるより外れるほうが多かった。⭐ **外れたと分かったのは、毎回、測ったからです。** ⚠️ A から D の母数は、1 回の実験あたり 4 体から 12 体しかありません。**強く言えるのは、条件のあいだで結果が完全に分かれたところだけ**です —— 1 行書かなければ 4 体とも呼ばず、書けば 4 体とも呼んだ（第 2 回）。数を書けと言えば 6 体中 5 体が数え、言わなければ 6 体中 0 体だった（第 8 回）。⚠️ **その一方で、たとえば 4 体中 1 体と 4 体中 3 体のような差は、偶然と区別できません。** 各回の「注意」に、その線を 1 本ずつ引いてあります。 ⚠️ そして、測ったのは 1 つのモデルの、ある時点です。⭐ **世代が変われば、数字は動きます。** A から D は、同じ日・同じモデルの中で条件だけを変えて出た差なので、数字より長持ちするはずですが、⚠️ **それも保証ではありません。** ⚠️⚠️ もう 1 つ、9 回を通して分けられなかったものがあります。**実験の作業者は、このプロジェクトの指示ファイルを毎回渡されて動いています。** そこには「推測で実装しない」「古い記録を鵜呑みにしない」に当たる行が入っていて、第 6 回と第 9 回の結果の一部は、その行だけでも説明が付いてしまいます。⚠️ **その行を外して比べた実験は、ありません。** 隠さずに書いておきます。 ## 結論 **実験しない技術は、実験の結果を組み合わせて使う技術です。** 9 回で測ったのは、9 個の思い込みでした。持ち帰るものが 9 個のままなら、10 個目の疑問には 10 回目の実験が要ります。それでは終わりません。⭐ **9 個が 4 つに畳めて、4 つが組み合わさるから、10 個目には実験が要らなくなります。** 序論で一つ約束しました。**私の数字は、走らせるだけで確かめられます。信じるかどうかを決めるのは、そのあとで間に合います。** ここまで読んだあなたは、もう 1 歩先へ行けます。 技術的な主張を読むとき、あなたはこう読めるはずです —— 母数はいくつか。何と何が分けられていないか。この数字はモデルの世代で動くのか、それとも文の性質の話なのか。⭐⭐ **この読み方は、この連載にだけ効くものではありません。** 1 作目の題は「読まない技術」でした。読まなくて済む形を作るところから始めて、5 作かけて、読む力を返すところまで来ました。**あなたは、他の技術書も読むことができるようになります。** 書いてある主張を、それが立っている条件のほうから読めるからです。 ⭐ そして、そこまで来ると、**新しい道具が出るたびに一から学び直す必要が無くなります。** 出てきたものが A から D のどれに当たるかを見れば、たいていは組み合わせで説明が付きます。⚠️ 付かないものだけ、測ってください。 序論で、あなたが「こうすると効く」と信じていることを 1 つ思い出してもらいました。それを最後に確かめたのはいつで、何回ぶんの結果を数えたか。 いま同じ問いに私が答えると、こうなります。**数えたのは 9 個で、それぞれ 4 体から 12 体ぶんです。それ以外に私が信じていることは、数えていません。だから、この記事では「予測」と書いてあります。** 数えたものと、予測を、同じ棚に置かない。⭐ この連載が渡せるのは、それだけです。 --- 各回の測り方は[序論](https://typing-tube.net/articles/ugokasanai-intro)の一覧からどうぞ。前の 4 作の舞台だった本番は、いまも [typingtube](https://typingtube.net) で動いています。この連載は、そこを一度離れて測った記録です。