AIエージェント
AI の評価基準（eval）はどう作ればいいのか ― トップダウン評価とボトムアップ評価を組み合わせる5ステップ
事前に定義したルールだけで AI の出力品質を測っていると、本番で起きる失敗を検知できない。実運用データから失敗パターンを発見して評価基準に落とすボトムアップ評価の作り方を、Shreya と Hamel の監査実例から見る。
原題
“How to Build Better AI Evals with Claude Code in 5 Steps” （AI システムの評価設計──トップダウンとボトムアップのバランスで精度が決まる）
原文からの引用
“Top-down evals are rules that you define upfront. Bottom-up evals are failures found by comparing AI's output with my final edits.”
日本語訳 トップダウン評価とは、事前に定義しておくルールのことだ。ボトムアップ評価とは、AI の出力と自分の最終編集を比較して見つけた失敗のことだ。
要点
- AI モデルの進化に伴い、AI システムの正確な評価方法そのものが一変し、過去の評価アプローチが通用しなくなっている
- AI システムの評価には、事前定義の評価基準（トップダウン）だけでは不十分であり、実運用データから失敗パターンを発見し評価化するボトムアップ評価が必須である
- 少なくとも10～20件の過去事例を比較してから評価基準をルール化することが、過度な特殊化（overfitting）を防ぐ鍵
- Shreya・Hamel の Error Discovery skill により、Claude Code ユーザーなら無料で評価基準設計をプロセス化できる環境が整備された
- 記事は、トップダウン評価がまだ有効な領域と、人間判断の出番が残る領域を見極める実装知を示している
編集部の考察
トップダウン評価だけを整備して終わっている状態は、本番での失敗を検知できないまま運用しているのと同義だ。記事で示された監査結果がそれを象徴している。Peter Yang が自身の podcast production skill の評価を Shreya と Hamel に見てもらったところ、「取材メモの文字数は240〜330字か」のようなトップダウン評価は充実していた一方、ボトムアップ評価（AI の出力と自分の最終編集との比較から失敗を洗い出す評価）はほぼゼロだった。さらに、失敗を評価ルールに落とし込む前に最低10〜20件の過去事例を比較すべきという具体的な閾値も示されている（要点3）。これは自分の組織の AI 活用チームにもそのまま当てはまる話だろう。多くの現場は「出力が仕様を満たしているか」を測るルールベースの評価は整備していても、「AI の出力と人間が実際に手直しした最終版がどれだけ乖離しているか」を継続的に比較する仕組みは持っていないはずだ。ここで経営・マネージャー層が決めるべきは、各 AI ワークフローについて①最低10〜20件のアウトプットと人間の最終編集を突き合わせる工程を誰が・どの頻度で回すか、②そこで見つかった失敗パターンを評価基準として明文化する役割を誰に持たせるか、の2点である。この差が中期的な AI 活用の質と競争優位を分ける一因になる。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。