私は AI の提案を、検討しなくなりました。良かれと思って出てくる新機能も、親切な改善案も。連載「AIの意見を聞かない技術」は、その状態を仕組み一つずつで作ってきた記録で、この記事が最終回です。各回の仕組みは序論の一覧から辿れるので、初めての方はそちらからどうぞ。
タイトルに 9 つ目の技術を書きました。ただし、これだけは置いた覚えがありません。 最後にその話をします。
ここまでの 8 回は、別々の話に見えていたと思います。却下を 1 枚に集める、理由を書く、範囲を判定軸で割る、サブエージェントに渡すものを決める、自動テストに移すものと移さないものを分ける、目視確認をスモークテストに渡す、訂正を仕組みに任せる、一覧を数える。実は全部、一つの流れの、違う階層の話でした。
一つの気づきが、階層を上がっていく
私の手元では、こういう三段になっています。
気づき(AI が書き溜めるメモ)
↓ 共有が要るなら
判断軸(結論 / 理由 / 適用範囲)
↓ 機械が真偽を決められるなら
仕組み(自動テスト・hook)
各回は、この図のどこかを扱っていました。第 2 回(理由)と第 3 回(適用範囲)は 2 段目の書き方、第 1 回は 2 段目をどこに置くか、第 5 回は 3 段目に上げられるかの判定、第 4 回は上がった先の契約、第 6 回は 3 段目のうち、画面でしか確かめられないものを機械に渡すスモークテスト、第 8 回は三段全体の総量です。そして第 7 回は、この三段が働いている間、人間が何を言わずに済むかの話でした。
大事なのは、上がるのが一段ずつだということです。
今日できるのは、二度目に断った 1 件を 1 段目に書くことだけです。2 段目に上がるのは、同じことがまた来た日。3 段目に上がるのは、機械が真偽を決められると分かった日。私の手元で 3 段目まで行ったのは 17 件中 4 件で、10 件は 2 段目に留まっています。残る 3 件は、どちらとも言えていないか、まだ書いていません。それで足りています。
なぜ、同じ提案が来続けるのか
原理の話をします。前作「読まない技術」の最終回は、こう結びました——AI は応答のたびに、指示もメモもツールの出力も目の前のタスクも一つの作業記憶(コンテキスト)に入れて読み、その中でいま一番強いものに従って次の一手を決める。
ここから、この連載の現象がそのまま出てきます。状況が同じなら、強さの順位も同じです。同じコードベースを見て、同じ抜け穴に気づけば、同じ提案が出る。
つまり、繰り返しは AI の欠陥ではありません。覚える・忘れるという話に、そもそもなっていないのです。人間にとっての「一度断った」は、AI の側には存在しません。毎回が一度目です。だから「今度こそ覚えさせる」は、原理的に負けます。負けない側は、繰り返される前提で外に置くことだけです。
そして繰り返しには、都合のいい性質があります。回数は無限でも、種類は有限で収束します。 出来事は無限に起きますが、判断の種類はそうではありません。私の一覧は 17 件で止まっています。無限に来るのは回数のほうで、種類は書き切れる量に収まる。だから、一度書けば回収できます。
前作の第 2 回では逆のことを言いました——1 回の保存は、そのあと毎回払い続けるコストだ、と。矛盾ではありません。あちらは出来事を溜める話で、こちらは判断が集まる話です。同じことが何度も来るものだけは、書けば書くほど楽になります。
別々に見えていた問題が、一つだったこと
回をまたいで、同じ言葉が何度も出てきました。共通点が後から見えてきたからです。
- 「AI は却下を覚えない。毎回が一度目」——序論の前提であり、第 1 回で測った内容であり、第 8 回で種類が収束する理由でもありました。全部この一つの性質でした
- 「結論だけでは判定できない」——理由が引用で落ちる(第 2 回)のと、範囲が割れていない(第 3 回)のは、同じ問題の別の面です。どちらも、一行だけを見た人が判定できない状態を指しています
- 「書かないことを、書いておく」——これは今作で見つけたものです。「機械検証: なし」(第 5 回)、「置かなかったもの」の一覧(第 8 回)、禁止に添える解除条件(第 3 回)。何も書かないことと「なし」と書くことは違う——決めなかったことと、決めて書かなかったことは、半年後の自分には区別が付きません
- 「本人に聞くのは測定ではない」——第 1 回と第 2 回の検証手順が、どちらも「別のセッションで」と断っているのはこのためです
前作から持ち込んだ 5 つのパターンは第 7 回にまとめてあります。上に並べたのは、今作を書いている間に見えてきたほうです。
共通点が見つかると、仕組みは小さくなります。新しい問題に新しい見出しを足すのではなく、既にある見出しの書き方が一つ決まるだけになる。私の一覧が 5 つの見出しで足りているのは、そのためです。
抜け穴は、全部そのままです
各回で、その仕組みの死角を正直に書いてきました。理由を書いても引用のときに落ちる(第 2 回)。判定軸を割ると組み合わせが増える(第 3 回)。契約を厚くしても用途を名乗ることは止められない(第 4 回)。自動テストに移せるのは半分以下(第 5 回)。最初の 1 人は必ず踏む(第 6 回)。代役を置いていない場所では、放置はただの放置(第 7 回)。上の階層が止まって見えても健全とは限らない(第 8 回)。
どれも塞いでいません。「これで全部拾える」と言わずに済んだのは、漏れたものは二度目に来るからです。
一度目に取りこぼした判断は、消えたのではなく、まだ 1 回しか来ていないだけです。本当に繰り返す種類のものなら、また提案されます。そのときに書けば間に合う。前作は最後に「不足点はないですか」と問う受け皿を置きましたが、今作にそれが要らないのは、繰り返しそのものが受け皿だからです。
厄介だったはずの性質が、そのまま保険になっている——ここが、この連載でいちばん腑に落ちたところでした。
選択肢を出されても、選んでいません
ここで、前作を読んだ方が抱えているはずの疑いに答えます。前作の最終回は「方針を検討するとき以外、私が AI に入力する言葉はほぼ 2 文だけです」と書きました。嘘だろう、と思われたはずです。 選択肢を出されたら選ぶでしょう、と。
出されます。よく出されます。そして——選んでいません。
返しているのは「次の作業を進めてください」です。AI は自分でどちらかを選んで進み、私は止めません。
それで壊れないのは、どちらを選んでも破綻する道が、先に塞がれているからです。AI が二択を返すのは、その場に決まっていないことが残っているときだけ——複数の行動がどれも許されていて、環境の側に、それを分ける材料が何も無いとき。だから仕組みを 1 つ置くたびに、決めていない場所が 1 つ潰れます。テストの入口を 1 本にすれば「どう走らせるか」が消え、却下を 1 枚に集めれば「作るか作らないか」が消え、境界を 1 行書けば「どっちの判定軸で数えるか」が消える。どれ一つとして選択肢を減らす仕組みではありません。減ったのは副産物で、しかも総数に効きます。
2 つの連載の積み重ねが作ったのは、「選択肢が出なくなった状態」ではありませんでした。選択を、安全に放棄できる状態です。
記録の形にも出ています。「ユーザー確定」「ユーザー判断」「ユーザー指示」と書かれた箇所が、計画書 72 ファイルに 532 回——方針は決めています。決めきれなかった方針は「判断待ち」という節に、13 本ぶん溜まっています。では手順の二択はどこにあるかというと、どこにも残っていません。 答えなかったので、流れて消えました。
だから、この記事のタイトルにある 9 つ目の技術は、私が置いたものではありません。8 つ置いた結果、いつのまにか出来ていました。置き方を説明できないので、技術として渡すこともできません。渡せるのは、8 つのほうだけです。
それでも残る二択が、地図になる
とはいえ、全部が流れてよいわけではありません。
第 1 回の測定で、却下を断った AI は最後にこう返してきました——「実測を先に進めるか、設計の見直し案を出すか、指示をいただければ」。
私は最初、これを仕組みの抜け穴だと思いました。違いました。二択が出た場所を見てください。 そこは、禁止事項に「ユーザー理解が追いつかないと確認できた場合のみ再検討」と書いた、その先です。条件を満たしたら何をするかは、誰も一度も決めていません。決めていないのだから、AI に決められるはずがない。二択は、正しく出ていました。
ちなみに同じ測定で、この AI はこうも書いてきました——「運営者ご本人の判断で覆すことはできますが、数値を直接いじらず改訂フローに乗せてください。そうしないと、次のセッションの私が同じ変更を差し戻します」。この連載が言いたかったことを、測定の対象が自分で言語化しています。
測り方には、一つだけ守るべきことがあります。「この仕組みは効いていますか」と本人に聞かないこと。 仕組みを外すことも、置くことも、そこまでは仮説です。結論にするには行動で確かめるしかなく、AI に「この指示は要りますか」と聞くのは、測定ではありません。
選択肢は抜け穴ではなく、まだ決めていない場所の地図です。仕組みが増えるほど地図は縮み、残った点だけが、本当に人間の判断が要る場所になる。前作が「方針を検討するとき以外」と括り出した例外の中身は、これでした。却下は一覧が引き受けたので、例外の中に残ったのは「まだ一度も決めていないこと」だけです。
仕組みを置くほど、選ぶ場所が減る。減らなかった場所が、まだ決めていないことの一覧になる。
一度だけ、聞いています
最後に白状します。タイトルは嘘です。
私は、AI の意見を聞いています。 一度だけ。
考えてみれば当たり前で、聞かなかったら、あの 17 件は 1 件も生まれていません。全部、AI が何かを提案してきて、それを断った記録です。先回りして考えた禁止は 1 件もない、と各回で繰り返してきたのは、そういう意味でした。提案は情報で、断ることは判断で、書き残すことが仕組みになる。この順番でしか、あの一覧は作れません。
やっていたのは「聞かない」ではなく、二度目を聞かないことでした。
意見は聞く。判定は聞かない。 一度目の提案は、まだ判断が存在しない場所に情報を持ってきてくれます。二度目からは違います。判断はもう済んでいて、そこで求められているのは同じ結論を出し直す作業だけ。人間の判断は有限で、二度目以降に払うぶんが、まるごと無駄になっていました。
前作は「必要なところは全部読みました」で終わりました。今作も同じ形です。必要なところは、全部聞いています。
結論
AIの意見を聞かない技術は、一度した判断を二度しないための技術です。
やることは前作と同じでした。うまくいかない問題を一つ見つける。なぜかを理解する。仕組みを一つ置く。壊して、効くことを確かめる。扱うものが一つ上がっただけで、やり方は何も変わりません。
今日置くのは、二度目に断った 1 件だけでいい。それを書いた瞬間から、その判断はもうあなたの仕事ではなくなります。
そうやって置いた数だけ、選ぶ場所が減っていきます。9 つ目は、置かなくても付いてきます。
各回の仕組みの置き方は序論の一覧からどうぞ。この仕組みで作られたものは typingtube で動いています。断らなくなったぶんの時間で作った画面が、そこに並んでいます。
連載「AIの意見を聞かない技術」
- ← 前回: 第 8 回 ルールを整理しない技術
- 全回の一覧: 序論 断ったはずの提案が、また来る