AIエージェント
新AIモデルへの乗り換えは何を根拠に決めるのか ― 2日ほどの締め切りに対し監査と下書きを90分で終えたビズオプスのマルチモデル運用
Fable・Codex・Finの組み合わせで、数日の猶予でまとめるサポート計画の監査と下書きを約90分で進めた——用途別のモデル評価基準を持つチームと持たないチームの差を示す実践例だ。
原題
“Surf the Models with Every's Biz Ops Team” （AIモデルを乗りこなす — Every社ビズオプスチームの実践ワークフロー）
原文からの引用
“Knowing when and how to use different models allows the team to regularly meet seemingly impossible deadlines.”
日本語訳 いつ、どのモデルをどう使うかを知っていることで、チームは一見不可能な締め切りを日常的に守れている。
要点
- Every社のビズオプスチームは Fable・Codex・Fin を組み合わせ、数日の猶予でまとめるカスタマーサポート計画のため、情報が散在するSlack・Notion・会議録を Fable が監査し、ヘルプ記事3本・Fin 用スニペット約6本・テンプレート17本を約90分（大半はバックグラウンド）で下書きした。その後 Codex が文書の校正と Notion の進捗表作成を担い、計画は期限に余裕を持って整った
- カスタマーサポートAI（Fin）の誤回答は全設定を書き直さず、Codex が問題チャットを診断して「ピンポイントの追加指示」だけを生成する方式で改善。MCP接続でツール間データ連携を実現している
- Granola（会議AIノートアプリ）の共同創業者兼CEO Chris Pedregal は、会議の前後の仕事まで担い、会議のコンテキストをどのエージェントからでも使えるようにする方針を語る。OpenAI・Notion・Zoomも会議の文字起こし・要約ツールを出す中、今後数か月で API と MCP の改善を計画している
- Sonnet 5は Sonnet 4.6 より同程度の出力でトークン消費が約30%多いと告知されており、トークン課金で動く執筆アプリ Spiral に入れない大きな理由になった。別の社内プロダクトで差し替えたときは書式の崩れが増え回答品質も落ちたため、数日のテストで4.6に戻し、Spiral は次のリリースまで4.6で走らせると決めている。一方、日次で回す「プロダクトの健全性レポート（analytics reporting）」のような反復・スコープ限定タスクでは、Sonnet 5 は手頃さと性能のバランスが取れている
- 新興AI職種として「Chief AI Officer（非テック企業で採用が広がる）」「AIインフルエンサー（フルスタックAIクリエイター）」「Content Engineer（プロンプトエンジニアからの進化形）」の3役割が台頭
編集部の考察
新モデルがリリースされたとき「乗り換えるか・維持するか」を、自分の組織は何を根拠に決めているか——「トークン消費が約30%増えるのでSpiralには入れず、差し替えた別プロダクトも品質が落ちたので4.6に戻す」というEvery社の判断（要点4）が突きつける問いはこれだ。多くの組織では「新しい＝良い」という前提でモデルを更新し、品質劣化に気づかないまま本番ワークフローが変わっている。Every社が、分析レポートのような限定タスクではSonnet 5を評価し、Spiralの執筆には4.6を維持するという形で用途別に判断できた背景には、タスクごとの出力品質を測る判断基準が存在していたはずだ。Every社でもSonnet 5の初期評価は芳しくなかったが、2週間使うと用途によって評価が分かれた。評価の仕組みを持たない組織は、ベンダーのリリーススケジュールに受動的に流されながら、知らないうちに品質・コストを悪化させるリスクを抱える。決めるべき具体的な一手は、「モデル更新の採否判断基準と責任者を、プロジェクト横断で1本に定める」こと——それが今ない組織は、次のモデルアップデートが来る前に設計しておく必要がある。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。
この記事の調査と下書きにはAIを使っています。数値や事実は出典と照合し、公開するかどうかは運営者が判断しています。（制作方針）