AI モデル選定はベンチマークスコアで決めていいのか ― 実業務で測るオフライン評価(offline evals)の作り方
年間1億ドル規模で AI に支出しながら、「オフライン評価(offline evals)」——実業務のタスク集で本番前にモデルを比較するテスト——を持たない企業が少なくないと Mercor CEO の Brendan Foody が指摘。Box CEO の Aaron Levie…
海外AIニュースレターの定点観測と経営考察
2026年11月8日(日) 更新
年間1億ドル規模で AI に支出しながら、「オフライン評価(offline evals)」——実業務のタスク集で本番前にモデルを比較するテスト——を持たない企業が少なくないと Mercor CEO の Brendan Foody が指摘。Box CEO の Aaron Levie…
GLM 5.3やKimi K3といったオープンソースモデルが、Anthropic の ARR を押し上げたコーディング・エージェント系タスクの多くをこなせる水準に到達。Fireworksは日次40Tトークン処理(3月時点のOpenAI API比で2倍)