AIエージェント
AI の評価基準（eval）はどう作ればいいのか ― トップダウン評価とボトムアップ評価を組み合わせる5ステップ
事前に定義したルールだけで AI の出力品質を測っていると、本番で起きる失敗を検知できない。実運用データから失敗パターンを発見して評価基準に落とすボトムアップ評価の作り方を、Shreya と Hamel の監査実例から見る。
原題
“How to Build Better AI Evals with Claude Code in 5 Steps | Shreya & Hamel” （AI システムの評価設計──トップダウンとボトムアップのバランスで精度が決まる）
原文からの引用
“Top-down evals are rules that you define upfront. […] Bottom-up evals are failures found by comparing AI's output with my final edits.”
日本語訳 トップダウン評価とは、事前に定義しておくルールのことだ。（中略）ボトムアップ評価とは、AI の出力と自分の最終編集を比較して見つけた失敗のことだ。
要点
- 元記事の目次は、最新モデルの登場で AI の評価（evals）が以前とまったく違うものになったことを論点に挙げている
- 評価には、事前に定義するルールのトップダウン評価と、AI の出力と最終編集の比較から失敗を見つけるボトムアップ評価の 2 種類がある。著者 Peter Yang の podcast 制作スキルの評価は、前者は充実していたが後者はほとんどなかったという
- 少なくとも10～20件の過去事例を比較してから評価基準をルール化することが、過度な特殊化（overfitting）を防ぐ鍵
- Shreya・Hamel の Error Discovery skill により、Claude Code ユーザーなら無料で評価基準設計をプロセス化できる環境が整備された
- 元記事の目次には、失敗を再利用できる評価に変える方法と、人間の判断がなお必要な場面も論点として挙がっている
編集部の考察
トップダウン評価だけを整備して終わっている状態は、本番での失敗を検知できないまま運用しているのと同義だ。記事で示された監査結果がそれを象徴している。Peter Yang が自身の podcast production skill の評価を Shreya と Hamel に見てもらったところ、「要点それぞれが240〜330字に収まっているか」のようなトップダウン評価は充実していた一方、ボトムアップ評価（AI の出力と自分の最終編集との比較から失敗を洗い出す評価）はほぼゼロだった。さらに、失敗を評価ルールに落とし込む前に最低10〜20件の過去事例を比較すべきという具体的な閾値も示されている（要点3）。これは自分の組織の AI 活用チームにもそのまま当てはまる話だろう。多くの現場は「出力が仕様を満たしているか」を測るルールベースの評価は整備していても、「AI の出力と人間が実際に手直しした最終版がどれだけ乖離しているか」を継続的に比較する仕組みは持っていないはずだ。ここで経営・マネージャー層が決めるべきは、各 AI ワークフローについて①最低10〜20件のアウトプットと人間の最終編集を突き合わせる工程を誰が・どの頻度で回すか、②そこで見つかった失敗パターンを評価基準として明文化する役割を誰に持たせるか、の2点である。この差が中期的な AI 活用の質と競争優位を分ける一因になる。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。
この記事の調査と下書きにはAIを使っています。数値や事実は出典と照合し、公開するかどうかは運営者が判断しています。（制作方針）