「back-pocket evals」の論考

汎用ベンチマークではなく自分の仕事でAIモデルを評価すべき理由

Everyの評価責任者Mike Taylorは、MMLU-Proなど業界標準のAIベンチマークが実務での有用性を測れていないと指摘し、自分の仕事内容に基づく「個人ベンチマーク」の構築を提案する。