Every
スキルを使いすぎると AI が劣化する
要点
- フロンティアモデルの進化により、かつて必要だったスキル（再利用可能な指示パッケージ）の多くが冗長化。SWE-Skills-Bench の検証では 49 スキル中、成果を改善したのはわずか 7 件。3 件は逆に精度を悪化させた
- 有効なスキルは「モデルが知り得ない情報」に限られる。社内テンプレート・ブランドガイドライン・内部データ・固有ワークフローなど、公開情報でないものだけが価値を持つ
- スキルの有効期限は短い。モデルのアップデートで既存スキルが無効化・逆効果化することが確認されており、定期的な棚卸し（スキルオーディット）が必要
- 「autoreview」のような自律的なコードレビュースキルは実績あり。Fable が実装した変更を GPT-5.6 Sol が自動レビュー・修正するループで、開発者が寝ている間に機能実装が完了した事例が紹介されている
- スキル評価のゴールデンデータセット方式が紹介された。理想的な出力例を 15〜20 件用意し、LLM ジャッジで評価を自動化するアプローチ
編集部の考察
SWE-Skills-Bench の数字を文字通り受け取ると、組織内に蓄積されたスキル・プロンプト集の約85%は現行モデルには不要で、6%は実際に出力品質を悪化させている計算になる。AI 全社導入済みの組織では、この「有害な6%」が誰にも気づかれないまま業務フローに組み込まれているリスクが高い。モデルは前より賢くなっているのに、古い補正指示のせいで出力が劣化するというパラドックスだ。
問題は棚卸しの必要性ではなく、測定インフラの不在にある。記事が示すゴールデンデータセット方式（理想出力15〜20件 + LLM ジャッジによる自動評価）は、スキルの有効性を定量化する最小構成として参考になる。これを自社で実装するとなると、「誰が理想出力を定義・更新するか」という人的プロセスが必要になり、実質的に プロンプトの品質保証オーナーという新たな役割が発生する。
経営として決めるべき問いは一つ：次のモデルアップデート時に、現行スキルを検証し直すトリガーと担当者を今すぐ指名できるか。Fable の autoreview 事例のような自律ループが自社でも走り始めた段階で、ガバナンスなき棚卸しは追いつかなくなる。
原文より
“Skill utility has a shelf life. Instructions that patch a model's blind spot can become redundant—or actively counterproductive—the moment a new version of the model absorbs that capability.”
本記事は原文ニュースレターの独自キュレーション・考察であり、翻訳ではありません。引用部分の著作権は原著者に帰属します。