AIエージェント
GPT-5.6 SolとFableはどう使い分けるべきか ― ベンチマーク順位と業務ROIが一致しない理由
ベンチマーク最下位のモデルが実務では最速だった——Everyの実戦評価が示す、モデル選定の軸を「品質か速度か」で決め直すための材料だ。
原題
“Vibe Check: GPT-5.6 Sol Is Our Favorite Model to Collaborate With” （「一緒に作る」ならSol、「全部任せる」ならFable——GPT-5.6 Sol 実戦評価）
原文からの引用
“Use Sol when the outcome is clear and you want to stay close enough to steer. Keep Fable for the loose, long-running assignments where defining the system is a large part of the job.”
日本語訳 アウトカムが明確で、舵を取れる距離にいたい仕事にはSolを使え。システムを定義すること自体が仕事の大半を占める、緩くて長丁場の任務にはFableを取っておけ。
要点
- GPT-5.6 Sol が政府審査から復帰。Every チームは執筆・コーディング・調査・分析の「対話しながら進める仕事」のデフォルトモデルに採用した
- シニアエンジニアベンチマークでは Sol が 56/100、Anthropic の Fable が 90/100。差の大部分は Sol が吐き出した不要コード約 12,900 行によるもの
- 6モデルの執筆ベンチマークで Sol は最下位——しかし著者はそのSolを使って 6〜8時間で24本のドラフトを回した。速さと操舵性が実務では刺さる
- Sol は46本のCSVを自律検査し有用な質問を7つ返したが、その後の計算ミスが信頼を揺るがした。「自律して動けるが手放せない」という性格が浮き彫りになった
- 使い分けの結論: アウトカムが明確で自分がそばにいられる仕事は Sol、「何を作るべきか」の定義から任せたい長丁場は Fable
編集部の考察
ベンチマーク順位と業務 ROI は別の変数を測っている——この記事が示す事実はそれに尽きる。Sol はシニアエンジニアベンチマークで 56/100（Fable は 90/100）、執筆ベンチマークでも最下位（要点2・要点3）——にもかかわらず、著者は Sol を使って 6〜8時間で24本のドラフトを回した。12,900行の不要コードは「品質スコアを下げる」が、ステアリングする人間がいれば「成果物の量」には影響しない。
自分の組織に置き換えると、AI ツール選定の評価軸が「アウトプット品質」になっているチームと「イテレーション速度」になっているチームとで、同じモデルを使っても体感が真逆になる。さらに問題なのは、その評価軸がチームごと・個人ごとにバラバラな状態が多いことだ。結果として、組織全体での AI 貢献度が測定不能になる。
「どのモデルを使うか」より先に決めるべきことは、自分の組織の主要ワークフローごとにボトルネックが「品質」か「速度」かを明示し、それをモデル選定のルールに落とすことだ。これが整っていないと、来年さらにモデルが増えたとき、現場の混乱は今の倍になる。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。