AI製品の失敗パターンをどう見つけ出すか、メトリクス先行がハマる罠
AI評価（evals）の専門家Hamel HusainとShreya Shankarは、50社以上のAI企業との仕事に基づき、evalsの進め方を論じる。冒頭では、Shopifyがevalsで開発を導いたAIワークフロービルダーが、置き換え前のフロンティアモデル系システムより2.…
「ROI証明」の論考
3 articlesフロンティアモデルのアクセス制限は何をもたらすか ― エージェント普及と「コンピュート配分」の二極化を読む
OpenAIがGPT-5.6 Solを公開したが、米政府指令によりアクセスは約20社に限定。Dan Shipperは、先進モデルが AI 大手と一部の企業に囲い込まれると、野心ある学生・独立開発者・働く専門職が必要な道具を奪われる、と批判した
AI活用の誇張報告はなぜ生まれるのか ― 採用とROI評価を歪める「AI Confidence Theater」の構造
AIツールは確かに有用だが、SNS上では「人生が変わった」レベルの誇張が蔓延しており、実態はSlack要約・メール返信といった補助的ワークフローにとどまるケースがほとんど