AIエージェント
AIへの指示を積み重ねるほど出力が劣化するのはなぜか
指示を増やして「賢くする」つもりのAI設定が、ルールの山に埋もれて逆に出力を劣化させる仕組みを、Every のコラムニストが自身の失敗から解き明かす。
原題
“When Trying to Make AI Better Makes It Worse” （AIを良くしようとして逆に悪化させたとき）
原文からの引用
“Before you save another preference, example, or instruction to your setup, ask whether it belongs in every task or just the one in front of you. And when an 'improved' setup starts giving you worse results, try taking something away before adding more.”
日本語訳 新しい好み・例・指示を設定に保存する前に、それがすべてのタスクに当てはまるものか、今目の前のタスクだけのものかを自問するべきだ。そして「改善した」はずの設定が逆に悪い結果を出し始めたら、何かを加える前に何かを取り除いてみるとよい。
要点
- Every のコラムニスト Katie Parrott は、ClaudeやChatGPTに読ませる指示ファイルに「実験ログを全て記録する」「繰り返しの指摘はチェックリスト化する」という2行のルールを追加した結果、1本のコラム用フォルダに127本・100万語超のドラフトが積み上がる事態を招いた。
- Parrott がスタイルガイドを759語から3,855語まで拡張し「承認された書き出し8パターン」などのチェックリストを増やした結果、モデルは検証しやすい表層的なルールばかりを優先し、判断力を要する方針を無視するようになった。
- OpenAI の Codex（GPT-5.6 Sol）にスタイルガイドをレビューさせたところ、「エージェントのワークフローでは具体的なルールほど検証しやすいため、曖昧だが本質的な方針を押しのけてしまう」という原因が判明した。
- Parrott は既存の指示ファイル群をすべて「Historical」フォルダに退避し、ゼロから対話形式で再構築することで、スタイルガイドを513語まで圧縮し、「ドラフトやログはタスクの参考資料であり新たな指示ではない」という原則を明文化した。
- 再構築後は「エージェントは先にチャットで確認してからファイルを変更する」「フォルダをまたいで指示を参照させない」というルールを設け、1回の修正指示が次の全ドラフトを縛る「法律」になる事態を防いでいる。
編集部の考察
自分の組織でAIエージェント向けの運用ルールやナレッジベースを拡充する際、「増やせば増やすほど精度が上がる」という前提自体を疑う必要がある。（要点1）（要点2）で見た通り、2行のルール追加が検証可能な表層ルールの山を生み、本来重視すべき判断力を要する指示を機械的に埋没させた。この構図は、個人のAI活用だけでなく、全社共通の指示ファイルやプロンプトテンプレート、過去の修正履歴を溜め込む社内AIエージェントの設計にもそのまま当てはまる。（要点4）（要点5）のように、指示を一度リセットして最小限に絞り、ログやドラフトを「指示」ではなく「参考資料」として明確に区別する運用規律を、現場のAI活用ガバナンスにどう落とし込むかが問われる。経営として決めるべきは、AI活用ノウハウを溜め込む仕組みを作る際に、蓄積量を増やす方向だけでなく、定期的に棚卸しして指示を削る仕組みを公式のガバナンスルールとして組み込むかどうかである。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。