新しいモデルが出ても、私はいま使っているモデルを使い続けています。この連載では、症状がどのAIの性質や仕様から出るかを、公式の記述と手元の記録で確かめてきました。たとえば、AI は作業が終わったように見えたところで止まり、同じ量なら出したぶんのほうが高くつきます。回ごとに症状は違っても、機序をたどると、同じ性質に行き着くことがありました。新しい症状は、これからも出てきますが、学んだ性質の組み合わせで機序を説明できれば、新しいモデルとの差だと読んで乗り換えを考える前に、対処が決まります。
白状することが一つあります。
あなたを振り回してきたのは、私が書いたこの連載です
前の 5 作の最終回に、私は白状を置いてきました。「必要なところは、全部読みました」(1 作目「読まない技術」)。「一度だけ、聞いています」(2 作目「AIの意見を聞かない技術」)。「私は、何も指示しないわけではありません」(3 作目「言わない技術」)。「私も、仕組みを置いた日には確かめています」(4 作目「確かめない技術」)。「私は、9 回とも実験しています」(5 作目「動かさない技術」)。どれも、題が前提にしていたことを、最後にひっくり返す白状です。
この連載も同じです。「追わない技術」と題したのに、私は、2 つのモデルを比べる実験を回しています。
この連載で確かめた AI の性質
各回の「なぜ」の節で、私は症状の原因を、公式の記述で確かめてきました。
| 性質 | 公式の記述 | |
|---|---|---|
| ① | AI は、1 つ前の結果から次の操作を決め、作業が終わったように見えたところで止まる | Claude は直前の操作で分かったことをもとに、次の操作に何が要るかを決める / Claude は作業が終わったように見えたところで止まる |
| ② | 会話を引き継がないサブエージェントは、起動のときに受け取ったものだけを持って始まる | サブエージェントは新しく隔離されたコンテキストで始まる |
| ③ | リクエストのたびに、それまでの会話の全体が送り直される | Claude Code はリクエストのたびに、それまでのやり取りの全体を送る |
| ④ | 同じ量なら、出したぶんのほうが高くつき、考えたぶんも出したぶんに入る | 料金のページは、どのモデルの行でも、出力トークンの価格を入力トークンの価格より高く書いている / 考えるのに使ったトークンは、出力トークンとして請求される |
| ⑤ | 作業の途中で送ったメッセージは、作業の指示として扱われる | サブエージェントは、起動した側からのメッセージを、途中の軌道修正も含めて、ふつうの作業の指示として扱う |
| ⑥ | テストを通すことに集中しすぎることがある | Claude はテストを通すことに集中しすぎて、より一般的な解を犠牲にすることがある |
| ⑦ | 別名で指定したモデルは、同じ名前のまま中身が入れ替わる | 別名はそのときに勧められているバージョンを指し、時間とともに更新される |
新しい症状も、学んだ性質の組み合わせでたどれます
あなたは、本体がまだ読んでいないファイルを集める調べものを、会話を引き継がないサブエージェントに任せています。報告だけを持ち帰れば済む仕事なので、サブエージェントが読んだファイルは見ずに、報告だけを受け取っています。依頼の文には「認証まわりのコードを調べてください」とだけ書きました。返ってきた報告は、調べる途中で見つけた別の不具合の説明と、その直し方の選択肢でした。/usage の内訳では、このサブエージェントの割合が、ほかの調べもののときより大きく出ています。ちょうど、新しいモデルが出たところです。あなたなら、次のどちらで対処しますか。
- 新しいモデルに替えて、同じ依頼の文で任せ直す
- 学んだ性質に当てて原因をたどってから、対処を決める
答えは、性質に当てるほうです。会話を引き継がないサブエージェントは、起動のときに受け取ったものだけを持って始まります(②)。依頼の文に書いたのは「認証まわりのコードを調べてください」だけで、何に答えれば調べものが終わりかは、届いていません。AI は、1 つ前に読んだものから次に読む先を決め、作業が終わったように見えたところで止まります(①)。途中で見つけた不具合に取り組み始めると、その不具合の中で読み進め、選択肢もその中で作ります。そして、読み進めるたびに、それまでの会話の全体が送り直されます(③)。この 3 つは、どれも、公式の頁がモデルを限らずに書いている仕様と性質なので、新しいモデルに替えても、同じ依頼の文のままなら無くなるとは限りません。たどれば、乗り換える前に、何を直せばよいかが決まります。届いていなかったのは、何に答えれば終わりかなので、依頼の文に書くのは、知りたいことの問いです。
理解したことは一文にできます。
新しい症状が出ても、学んだ AI の性質と仕様の組み合わせで機序を説明できれば、学び直さずに対処が決まる。その性質は、公式の頁がモデルを限らずに書いているので、乗り換えても使える。だから、症状が出たら、新しいモデルとの差だと読んで乗り換える前に、学んだ性質のどれとどれから出たかをたどってから、対処を決める。
なぜ、学んだ性質は乗り換えても使えるのか
各回の「なぜ」の節で引いた公式の記述は、特定のモデルに限った話ではありません。料金のページは、どのモデルの行でも出力トークンの価格を高く書き、サブエージェントの始まり方と、会話の送り直しは、Claude Code の仕様です。ベストプラクティスのページは、作業が終わったように見えたところで止まることを、モデルの名前を挙げずに書いています。
変わるのは、モデルの名前のほうです。別名で選んでいるかぎり、比べた日に動いたモデルと、あとで同じ名前で動くモデルは、別のものになっていることがあります(⑦)。
振り回されなくなったもの
- 私は、新しいモデルが出た日に乗り換えるのをやめました。症状が出たら、乗り換える前に、表の性質のどれとどれから出たかをたどります
- 続けていることもあります —— 新しいモデルを使うことです。使ってみたら差を測り、そのモデルに合わせて仕組みを置き直します
結論
振り回されない技術は、新しいモデルが出ても、症状をモデルの差と決める前に、学んだ性質の組み合わせから原因をたどる技術です。
新しい症状は、これからも出てきます。そのたびに、学んだ性質の組み合わせで機序を説明できれば、学び直す必要はありません。
私はまだ振り回されます。新しいものが出れば見ます。以前と違うのは、乗り換えを考える前に、表の性質に当てることです。