AI の評価基準(eval)はどう作ればいいのか ― トップダウン評価とボトムアップ評価を組み合わせる5ステップ
元記事の目次は、最新モデルの登場で AI の評価(evals)が以前とまったく違うものになったことを論点に挙げている
海外AIニュースレターの定点観測と経営考察
2026年11月8日(日) 更新
元記事の目次は、最新モデルの登場で AI の評価(evals)が以前とまったく違うものになったことを論点に挙げている
GLM 5.3やKimi K3といったオープンソースモデルが、Anthropic の ARR を押し上げたコーディング・エージェント系タスクの多くをこなせる水準に到達。Fireworksは日次40Tトークン処理(3月時点のOpenAI API比で2倍)
Copilot Studio はマルチエージェント・ワークフロー構築で優れた設計(小さくスコープを絞った各エージェントが相互に呼び出せる)を実現し、ビジネスプロセスの自動化に高い信頼性をもたらす
元記事は、Claude Code に接続した Slack ボット「Luo Ji」により、チャンネル=プロジェクト、スレッド=タスクという構造でエージェント作業を一元管理する設計を紹介している
Dianne PennはAnthropicで製品責任者として、Claude 2からFableまで全モデルの企画・開発に貢献してきた
エージェントが一晩でコードを書き、朝には緑のPRが積まれている時代。残る人間の仕事は「これは本当に良いか」を判断し、さらに押し上げることだと著者は主張する
Anthropic は 2026年6月1日に IPO の機密申請を実施。SemiAnalysis の独自試算(Tokenomics Model)によれば、2026年Q3の利益は10億ドルを超えると見込まれる
OpenAIがGPT-5.6 Solを公開したが、米政府指令によりアクセスは約20社に限定。Dan Shipperは、先進モデルが AI 大手と一部の企業に囲い込まれると、野心ある学生・独立開発者・働く専門職が必要な道具を奪われる、と批判した
Colin Matthewsは、PMとAIの関わり方を「個人(personal)」「プロダクト(product)」「システム(systems)」の3つのレバレッジのはしご(ladder)に整理している。無料部分で示された個人とプロダクトのはしごには、それぞれ3段階(rung)があ…
MetaやUberの「トークン爆消費」報道は実態より誇張されており、悪いインセンティブ設計と管理の甘さが原因。大多数の企業では同様の事態は起きていない