モデル動向
複雑なアプリ開発で Fable 5.1 に劣る、GPT-6 Astra の意外な弱点
OpenAI の最新フラグシップモデル GPT-6 Astra がリリースされたが、実際の導入では「モデル選択の段階別」使い分けが必須になる。見た目の完成度と内実の品質保証が分離する時代の、現場テスト報告。
原題
“Vibe Check: GPT-6 Astra Is a Big Upgrade With Some Bad Habits” （GPT-6 Astraは大幅改善だが、使い方で躓く）
原文からの引用
“Astra wrote the first draft of our review in one shot, and Dan thought Katie had written it. For a complicated product, we'd still choose Fable 5.1. Astra's apps could look finished before all the features worked.”
日本語訳 Astra は評論の下書きを一度で作成でき、別の人がそれを見れば Katie が書いたと思うほど完成度が高い。だが複雑な製品開発では Fable 5.1 を選ぶ。Astra のアプリは完成して見えても、機能がまだ動いていないことがある。
要点
- OpenAI が GPT-6 Astra をリリースした。数週間の事前告知で数学能力と高度なサイバーセキュリティ機能を強調していた。
- Every チームの実地テストでは、Astra は執筆・コンサルティング・ビジュアル設計で優れているが、複雑な製品開発では Fable 5.1 の方が信頼できる結果であった。
- コンピュータ使用（ブラウザ操作・ソフトウェアテスト）についても、日々の稼働信頼性はまだ検証不十分である。
- アプリのUIが完成した見た目に見えても、内部機能に漏れやバグが存在する懸念が、複雑な製品開発タスクで明らかになった。
- Astra は素材の整理・下書きの修正・プロトタイプの探索に適しており、繰り返しの品質確認を要する複雑な製品開発では最終判定に Fable 5.1 の併用が現実的である。
編集部の考察
AI が「成功した」と自己申告する検証結果は、そのまま最終判定として扱ってはならない。Kieran Klaassen が Astra に Proof というドキュメントエディタのリビルドを任せた事例（要点4）では、Astra はブラウザ操作で自らの成果物をテストし成功を報告したが、実際には機能の欠落やバグが残っており、さらに確認を重ねても信頼できる状態には至らなかった。これは、実装の正しさを確かめる工程そのものをAIに委ねる設計の限界を示している。複雑な製品開発をAIに任せる組織は、AIの「完了報告」だけで先に進めてよいタスクと、人間または別モデルによる独立したQAゲートを必須にするタスクを、工程レベルで線引きする必要がある。この境界を曖昧にしたまま適用範囲を広げれば、見た目上は完成しているのに機能が欠けたまま出荷してしまうリスクを抱え込むことになる。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。