私はもう、確かめるためにプロダクトを動かしません。テストを走らせて直すのも、画面を開いて確かめるのも、本番で起きたことから学ぶのも。代わりに、答えの分かっている問題を作っています。このシリーズは、前の 4 作で「こうすれば効く」と書いてきたことを、実験ひとつずつで測り直していく連載です。
先に、読み方を書いておきます。この連載は、読むだけで追えます。各回は、現場で何が起きたかから始まり、何を置いて、何がなくなったかまで続きます。各回の終盤に「実験手順」という節がありますが、読み飛ばして構いません。自分の環境で試したくなったときに、戻ってくれば足ります。
まず一つだけ、思い出してみてください。AI の使い方について、あなたが「こうすると効く」と信じていることを 1 つです。指示ファイルの書き方でも、頼み方でも構いません。それを最後に確かめたのはいつで、そのとき何回ぶんの結果を数えましたか。
まだ AI と一緒に開発していないなら、信じていることが無くて当然です。この連載は、私が 4 作で「効く」と書いてきたことを測り直す記録なので、そのまま読めます。
4 作 44 本の根拠は、ほとんど私の実感です
この連載は 5 作目です。
- 1 作目「読まない技術」: AI の出力を、読まなくて済む形にした
- 2 作目「AIの意見を聞かない技術」: AI の提案・判断を、二度検討しなくて済む形にした
- 3 作目「言わない技術」: 人間の入力を、言わなくて済む形にした
- 4 作目「確かめない技術」: 確認そのものを、その場で決めなくて済む形にした
- 5 作目（本書）: その 4 作が本当に効いていたのかを測る
44 本は全部、1 つの本番プロダクトで起きたことから書きました。typingtube という、YouTube の音楽動画でタイピング練習ができる Web サービスです。個人で運営していて、いまも動いています。
その書き方には、44 本ぜんぶに共通する穴がありました。仕組みを置いて、そのあと調子が良かった。それが根拠です。 置いた日と置かなかった日を比べたわけではありません。比べようもありませんでした —— 本番は 1 つしかなく、時間は巻き戻らないからです。⚠️ 44 本のどれも、数えられたのは 1 回きりの出来事です。
だから、書いてきたことのうち何が本当なのかを、私は知りません。効いていたのかもしれないし、置かなくても同じだったのかもしれない。どちらなのかを、本番を動かしている限り一生確かめられない —— それが、この連載の出発点です。
動かさないのは、プロダクトのほうです
題は「動かさない技術」ですが、何も実行しない机上の話ではありません。⚠️ この連載は、前の 4 作より多く実行します（毎回、AI の作業者を何体も走らせます）。動かさなくなったのは、何かを知るためにプロダクトを動かすことのほうです。
前の 4 作が動かさなくなったものを、並べてみます。画面を開いて回るのをやめた。画面の撮影と、ひととおり動かす確認をやめた。テストの再実行をやめた。テストの 2 本目を並べて走らせるのをやめた。重い E2E を全部走らせるのをやめた。⭐ 5 つとも、目の前の作業がちゃんとできているかを確かめるための実行です。手段・回数・範囲・本数を、一つずつ削ってきました。
残っていたのは、知るための実行です。プロダクトを動かして、起きたことから学ぶ。⭐ 根拠そのものの作り方なので、ここだけは 4 作を通して一度も手放していませんでした。
3 作目の最終回の題は「何もしない技術」でした。⚠️ あれは人間が作業に介入しないという話で、今回とは、やめる対象が違います。今回は介入します。むしろ実験のたびに、こちらから手を出します。動かさないのは、何かを知るための道具としてのプロダクトだけです。
代わりに使うのは、答えが先に分かっている問題です。たとえばログを模したファイルを 12 本置いて、そこから拾うべき値を機械に決めさせます。⚠️ その正解表は、作業者に渡すディレクトリの外に置きます（人が後から作ると、返ってきた答えのほうに引きずられるからです）。同じ課題を、条件を 1 つだけ変えて、会話を引き継がない AI の作業者に何体か渡す。返ってきたものを正解表と突き合わせる。⭐ そこには、私の実感が入り込む隙がありません。
渡すのは、走らせれば分かるスクリプト 1 本です
前の 4 作は、各回で「置けば効くファイル 1 枚」を渡していました。hook、ラッパー、指示文。読者の持ち帰りはそれでした。
この連載に、置くものはありません。代わりに渡すのは測り方です。各回の終わりに、私が使った題材の作り方と、条件の変え方と、数え方を置きます。あなたの環境で、同じ数字が出るかどうかを、あなたが確かめられます。
私の数字は、走らせるだけで確かめられます。信じるかどうかを決めるのは、そのあとで間に合います。
1 作目の序論で「仕組みは置くだけで効きます。理解は、使い始めてからで間に合います」と書いた、その裏返しです。あちらは中身を読まずに置ける約束でした。こちらは、中身を信じないまま走らせられる約束です。
各回は、1 つの思い込み・1 つの測り方・1 つの実験手順でできています。思い込みは、たいてい公式ドキュメントの記述か、広く勧められている作法です。それを仮説として立て、実験でぶつけて、出た数字を書く。⚠️ 仮説を紹介して終わる回は、入れていません。
外れた回も、そのまま入れてあります
一つ断っておくことがあります。測ってみたら効いていなかった、という結果が出た回があります。 落としていません。落とすなら、それは実験ではなく演出です。
外れ方も 1 種類ではありませんでした。私の予想と逆に出た回、条件をまたいで差がまったく出なかった回、測ろうとしたものが実験の設計ごと間違っていて、1 回目をやり直した回もあります。どれも、そう書いてあります。
そして、言えないことも各回の終わりに並べます。母数がいくつなのか、何と何が分けられていないのか、どの数字がモデルの世代で動くのか。⚠️ 全体に効く注意を先に 1 つ書いておくと、この連載の数字は、1 つのモデルの、ある時点の測定です。 数字そのものを持ち帰ってもらうつもりで書いてはいません。持ち帰るのは、各回が終わりに 1 つだけ置く「理解したことは一文」のほうです。
⚠️ もう一つ。前の 4 作を読んでいなくても入れます —— 各回の冒頭に、前作で書いたことを 1 行だけ置くので、そこだけ読めば足ります。ただし、この連載は仕組みを置き終えた人の話です。まだ置いていないなら、1 作目から読むほうが早い。
シリーズの構成
前半の 4 本は、指示ファイルに書いた行が、書いた側の思ったようには効かないという話です。どこまで効いて、どこから効かなくなるのかを測ります。
中盤の 3 本は、答えを決めているのが指示の中身ではなく、その場の頼み方と会話の長さのほうだという話です。同じことを頼んでいるのに、一文の違いと、往復の数で結果が変わります。
終盤の 2 本は、終わったあとに残るものだけを見ていると、見えないという話です。出来上がったファイルと、次の人へ渡す申し送りを扱います。
最終回で、9 回の結果を組み合わせます。組み合わせると、まだ測っていないことにも答えが出ます。
順に読む必要はありません。ただし第 9 回は第 8 回を受けているので、その 2 本だけは順に読んでください。
次回は「手順を守らせない技術」。私は、AI に守られなかった指示を書き直すのをやめました。それでも、その指示は守られるようになりました。