Every
「一緒に作る」ならSol、「全部任せる」ならFable——GPT-5.6 Sol 実戦評価
要点
- GPT-5.6 Sol が政府審査から復帰。Every チームは執筆・コーディング・調査・分析の「対話しながら進める仕事」のデフォルトモデルに採用した
- シニアエンジニアベンチマークでは Sol が 56/100、Anthropic の Fable が 90/100。差の大部分は Sol が吐き出した不要コード約 12,900 行によるもの
- 6モデルの執筆ベンチマークで Sol は最下位——しかし著者はそのSolを使って 6〜8時間で24本のドラフトを回した。速さと操舵性が実務では刺さる
- Sol は46本のCSVを自律検査し有用な質問を7つ返したが、その後の計算ミスが信頼を揺るがした。「自律して動けるが手放せない」という性格が浮き彫りになった
- 使い分けの結論: アウトカムが明確で自分がそばにいられる仕事は Sol、「何を作るべきか」の定義から任せたい長丁場は Fable
編集部の考察
Sol はシニアエンジニアベンチマークで 56/100（Fable は 90/100）、執筆ベンチマークでも最下位——にもかかわらず、著者は Sol を使って 6〜8時間で24本のドラフトを回した。この矛盾が示すのは、ベンチマーク順位と業務 ROI は別の変数を測っているという事実だ。12,900行の不要コードは「品質スコアを下げる」が、ステアリングする人間がいれば「成果物の量」には影響しない。
自社に置き換えると、AI ツール選定の評価軸が「アウトプット品質」になっているチームと「イテレーション速度」になっているチームとで、同じモデルを使っても体感が真逆になる。さらに問題なのは、その評価軸がチームごと・個人ごとにバラバラな状態が多いことだ。結果として、組織全体での AI 貢献度が測定不能になる。
「どのモデルを使うか」より先に決めるべきことは、自社の主要ワークフローごとにボトルネックが「品質」か「速度」かを明示し、それをモデル選定のルールに落とすことだ。これが整っていないと、来年さらにモデルが増えたとき、現場の混乱は今の倍になる。
原文より
“Use Sol when the outcome is clear and you want to stay close enough to steer. Keep Fable for the loose, long-running assignments where defining the system is a large part of the job.”
本記事は原文ニュースレターの独自キュレーション・考察であり、翻訳ではありません。引用部分の著作権は原著者に帰属します。