AIに要約しろと言わない技術

CC BY 4.0

仕組み: 数字の行に決まった書き出しを付け、コピーしていなければ終われなくする

「そのまま貼って」と頼むこともできます。ただ、それは指示です。第 6 回のとおり、指示は読まれたときだけ効きます。実際、私が「母数を併置せよ」という方針ファイルを置いた直後に、AI は同じ形で間違えました。

だから、頼む代わりに 2 つ置きます。数字の行の決まった書き出しと、コピーされたかを見る hook です。

まずコマンドです。数字の行の先頭に、決まった書き出しを付けます。私は [observed] にしています。母数は同じ行に入れます。

# 語の一覧表の突き合わせ。「0 件」だけでは、169 が少なすぎないかを読む側が疑えない
puts "[observed] glossary: #{rows.size} terms x #{chapters.size} chapters, #{bad.size} mismatches"

つぎに hook です。ツールが走ったあとに、その書き出しの行を覚えておき、セッションの終わりに、その行が AI の最終応答へそのまま入っているかを見ます。入っていなければ、一度だけ引き戻します。

# 実物からの簡約版。pending は覚えておいた行、last_message は AI の最終応答、
# squeeze は突き合わせの前に空白を落とす関数（飾ると別の文字列になる）
# ツールの後: 出力から、その書き出しの行を拾って覚えておく
for line in tool_output.splitlines():
    if line.lstrip().startswith("[observed]"):
        append(line.strip())

# 終了時: 最終応答に、その行がそのまま入っているか
missing = [l for l in pending if squeeze(l) not in squeeze(last_message)]
if missing and not already_blocked:
    block("paste these lines verbatim:\n" + "\n".join(missing))

求めているのは行のコピーだけです。母数を書く判断も、数の説明も求めていません。AI が書き出しごとコピーすれば通ります。それでよいのです——コピーさせることが目的なので、コピーされた時点で用は済んでいます。

⚠️ 一つだけ、コマンドの側で気をつけることがあります。出力をまとめる側が、その行を落とすことがある。私のテストの実行ラッパーは、ログ全文をファイルへ残して画面には要約だけを出力する作りで、その要約は結果の行しか拾っていませんでした。書き出しを付けた当日、画面に出た観測の行は 0 でした。数えることと、数えた行が人の目の前まで届くことは、別の話です。

CC BY 4.0 はここまで

CC BY 4.0

注意: コピーさせても、数が正しくなるわけではない

この仕組みが守るのは「コマンドが出力した行が、途中で変わらないこと」だけです。コマンドの数え方が間違っていれば、間違った数がそのままコピーされます。実際、私が使っている計測スクリプトは、止まった回数を数えているつもりで、記録の行数を数えていました。1 回止まるたびに記録は 2〜3 行できるので、数は倍近くまで膨らみます。コピーは正しく、数だけが違う——このときは、コピーされた行を人が読むまで分かりません。

もう一つ。この書き出しは、コマンドが実際に出力したときだけ意味があります。 同じ書き出しの載った文書をもう一度画面に表示すると、それも「コピーしろ」と言われます。当たりすぎる側の誤りですが、コピーすれば消えるので、私は当たり方を緩めていません。逆に、書き出しを付けていないコマンドは、この仕組みから見えません。見えるようにするのは、コマンドの出力に書き出しを足す作業のほうです。

検証手順: 止まるべきものが止まり、通るべきものが通る

前提

• 数字を出力するコマンドを一つ選び、その行の先頭に決まった書き出しを付けてあること。⚠️ 母数を同じ行に入れること（「0 件」ではなく「169 語のうち 0 件」）
• その書き出しを見る仕組みを、2 か所に登録してあること（ツールの後 = 行を覚えておく / 終了時 = 最終応答と照らす）

所要時間: 10 分

手順

1. あなたが AI に、そのコマンドを走らせて結果の数を報告してと頼みます。⚠️ わざと、言い直しを誘う頼み方をします
2. あなたが、AI が止まるかを見ます
3. 止まった AI が行をコピーしたあと、あなたが、そのまま終われることを見ます
4. あなたが、書き出しを付けていないコマンドで同じことを頼み、一度も止まらないことを見ます

合格条件（すべて満たすこと）

• 手順 2 で止まり、止めた文の中に、コマンドが出力した行がそのまま入っている
• 手順 3 で止まらない（⚠️ これが無いと、全部止める仕組みでも合格に見えます）
• 手順 4 で止まらない（書き出しの無い出力まで止めていない）

合格しなかったとき

• 何も起きない —— 登録が片面だけです。ツールの後と終了時の両方に要ります
• コピーしても止まる —— 飾っています。太字にする・語を混ぜると別の文字列になります。コピーとは、飾らないことです
• 毎回止まる —— 1 度引き止めたら、そのあとは通す作りになっていません

後始末

• 仕組みが覚えていた行の記録を消します（次に検証するとき、古い行が残っていないように）

CC BY 4.0 はここまで