以前の私は、新しいモデルが出た日に乗り換えていました。いまは、新しいモデルが出ても、使っているモデルを使い続けています。安いモデルへ乗り換えるのも、性能の高いモデルへ乗り換えるのも、同時に走らせるAIの数を増やすのもやめました。代わりに私は、自分が置いた仕組み(hook や指示文)のどれにいくらかかるかを見ています。そのときに頼る原理は 1 つで、「出したぶんのほうが高くつく」というものです。同じ量なら、AI に読ませたぶん(入れたぶん)より、AI に書かせたぶん(出したぶん)のほうが、請求は高くなるという意味です。

症状から対処法を学ぶ

各回は、うまくいかない症状から始まります。その症状への対処法には、症状に関わるAIの性質や仕様と、なぜその対処法が適切かの解説が付いています。

なぜその対処法が適切かを覚える前でも、症状への対処に要るのは、仕組みを一つ置くことだけです。

AI の性質や仕様を一つずつ覚えても、それらが組み合わさると、AI は間違えることがあります。通常の設計開発では気付きにくい、複数の性質や仕様が絡むこの落とし穴を、症状から順に学ぶことができます。

心当たりを確かめる

まず一つだけ、思い出してみてください。

思い出してほしいのは、あなたが最後に、使うモデルや、AI に仕事を任せる体制を乗り換えたときのことです。

何が起きてその乗り換えを決め、乗り換えたあとに、前より良くなったことを数えましたか。

まだモデルや体制を乗り換えたことが無いなら、思い出すものが無くて当然です。

前の 5 作で作ってきたもの

この連載は 6 作目です。

  • 1 作目「読まない技術」: AI の出力を、読まなくて済む形にした
  • 2 作目「AIの意見を聞かない技術」: AI の提案・判断を、二度検討しなくて済む形にした
  • 3 作目「言わない技術」: 人間の入力を、言わなくて済む形にした
  • 4 作目「確かめない技術」: 確認そのものを、その場で決めなくて済む形にした
  • 5 作目「動かさない技術」: 知るための実行を、答えの分かっている問題に置き換えた

この連載では、前の 5 作の仕組みより手前にある、AI を、どのモデルで、同時にいくつ、どの体制で走らせるかという判断を扱います。

前の 5 作の仕組みは、どれも、相手のAIが決まっている前提で、そのAIに何をどう渡すかを決めるものです。相手のAIのほうは、5 作を通して、私が仕組みを置かないまま選んでいました。

この連載で「追わない」のは、2 つです

私が追わないのは、次の 2 つだけです。

#追わないものどういうことか
1最新の情報新しいモデルや新しい機能が出た日に、乗り換えるかを考えないこと
2答えが出たあとの深追い決められるだけの材料がそろったのに、まだ調べ続けること

頼っている原理は、1 つです

請求は、AI に入れたぶんと、AI が出したぶんの両方に付きます。そして、同じ量なら、出したぶんのほうが高くつきます。

あなたが同じ量を削るなら、請求が大きく減るのは、入れたぶんより出したぶんを削ったほうです。

なぜ、出したぶんのほうが高くつくのか

出したぶんのほうが高くつくのは、AI を提供している側が決めた料金の仕様です。トークンは、AI が文章を読み書きするときの単位で、入れたぶんは入力トークン、出したぶんは出力トークンとして数えられます。Anthropic の料金のページは、モデルごとに、入力トークンの価格と出力トークンの価格を別の列に並べていて、どのモデルの行でも、出力トークンの価格のほうが高く書かれています。

同じ量でも価格が変わることがあるのは、入れたぶんのほうです。

AI が出したぶんには、応答に見えていないトークンも入ります。Anthropic の思考のページによると、AI が答える前に考えるのに使ったトークンは、出力トークンとして請求されます。応答に見えている思考は、AI が考えた内容を短くまとめ直したものです。請求されるのは、まとめ直す前の、AI が考えた全部です。だから、請求される出力トークンの数は、応答に見えているトークンの数と一致しません。

入力トークンと出力トークンの数は、応答のたびに分けて返ってきます。私の手元の Claude Code も、応答ごとの数を、セッション(AI との、始まりから終わりまで一続きのやり取り)の記録に残しています。だから私は、どの仕組みにいくらかかったかを、その記録から数えてきました。

ただし、数えたトークンの量から分かるのは、その仕組みにいくらかかったかだけです。その仕組みが正しい結果を出したかどうかは、トークンの量とは別の問いです。

前の作の仕組みを置いて、いまのモデルでAIとの開発が回っているとします。そこへ新しいモデルが出て、使ってみることにしました。このとき、あなたなら次のどちらを選びますか。

  • 応答を見て、良くなったと感じたら使い続ける
  • 差を測って、そのモデルに合わせて仕組みを置き直す

答えは、測って置き直すほうです。いまの仕組みは、どれも、いまのモデルを相手にする前提で置いたものです。応答を見ているだけでは、いくらかかるようになったかも、正しい結果を出しているかも分かりません。測るときは、これまでの連載で覚えた仕組みの置き方と測り方が、そのまま使えます。どこを測ればよいかを扱うのは、各回です。

理解したことは一文にできます。

新しいモデルとの差は、応答を見ても分からない。だから、使ってみたら差を測り、そのモデルに合わせて仕組みを置き直す。

この連載が渡すもの

渡せる私が数えたものを、あなたの手元で数える手順(各回の末尾に置いてあります)
渡せる私が実際に測った数と、その母数(外れた予想もそのまま書きます)
渡せないどのモデルを使えばよいか(古くなるので、1 つも書きません)
渡せないあなたの環境での倍率(手順を回せば、あなたの数が出ます)

次回は「深追いしない技術」。私は、答えが出たあとに調べ続けるのをやめました。 それでも、決めるのに要る材料は減っていません。