「オフライン評価」の論考

AI モデル選定はベンチマークスコアで決めていいのか ― 実業務で測るオフライン評価（offline evals）の作り方

年間1億ドル規模で AI に支出しながら、「オフライン評価（offline evals）」——実業務のタスク集で本番前にモデルを比較するテスト——を持たない企業が少なくないと Mercor CEO の Brendan Foody が指摘。Box CEO の Aaron Levie…