モデル動向
AI らしい単調な文章はモデルで直せるのか ― 文章特化モデル Deft の検証に見る多様性と指示遵守のトレードオフ
AI ライティングの単調さを解決するとうたう新モデル Deft を著者が実際に試すと、表現の多様性と引き換えに指示遵守が壊れた。事実ベースの文章生成を AI に任せる組織が確認すべき点を整理する。
原題
“I Tried the AI Model Built to Fix AI Writing” （AI が「同じ」文章を書く問題に取り組む新モデルを試した）
原文からの引用
“On Deft's tests, it produced a distribution of writing closer to the human samples than a conventional fine-tune of the same size. The basic claim is that changing the post-training will yield more range." "Deft is oriented around complete-document generation, but my writing process rarely moves from brief to finished draft in one jump. I want to go back and forth with the model, keep certain parts of its output and rework others, and use the whole arsenal of tools I've built to help models write more like me.”
日本語訳 Deft のテストでは、同サイズの従来型ファインチューニングよりも、人間のサンプルに近い文章の分布が得られた。基本的な主張は、ポストトレーニングを変えれば表現の幅が広がる、というものだ。 Deft は文書を丸ごと生成する使い方を前提にしているが、私の執筆プロセスがブリーフから完成稿まで一足飛びに進むことはめったにない。モデルと行き来しながら、出力の一部を残して他を作り直し、モデルに自分らしく書かせるために作り上げてきたツール群を総動員したいのだ。
要点
- Deft は AI ライティングの「単調さ」を解決することを目指す新しいモデルで、句や文の繰り返しパターンをバッチ単位で制御する「配分ファインチューニング」という手法を採用
- 著者のテストでは、Deft は文レベルでの表現の多様性は示したが、文脈の階層感や読みやすさに課題が残った
- GPT-5.6 Sol など既存モデルの「AI 臭さ」は編集で対処できるが、Deft の多様だが不明確な出力には、編集の入り口がより見つけにくい
- 著者が Strict（厳密）モードで詳細な指示を与えても、Deft が指示外の内容を生成する問題が発生した
- Deft はまだ日常的な執筆作業に導入する段階ではなく、情報階層の理解と反復型ワークフローの改善が次の課題である
編集部の考察
「プロンプトで縛れば事実面は安全」という前提は、もはや成り立たない。この記事で一番実務に効くのは、著者が strict モードで詳細なブリーフを与えたにもかかわらず、Deft は労働者が経営陣や労組に AI 利用を強いられるという架空のエピソードや、存在しない日付・対話・製品史まで書き足したという一点だ（要点4）。しかも API 経由の最終テストでは、最高品質設定・strict モード指定という条件下で 0.49 ドルを払って使えるドラフトが一本も得られなかった。これは「AI 臭さ」のような文体の癖ではなく、「この情報だけを使え」という指示そのものが守られなかった事例であり、配分ファインチューニングという新しい学習手法をもってしても、出力の多様性向上と事実の境界を守らせる制御は別問題として残ることを示している。
自分の組織に置き換えるなら、マーケティング原稿や顧客向けレポート、社内ナレッジ生成など事実ベースの文章生成に AI を使っている業務があるなら、strict 指示や出力フォーマット指定の有無ではなく、出力を人が事実照合する工程、あるいは外部ソース参照を強制する仕組みをワークフローに組み込んでいるかを棚卸しすべきだ。著者が有償 API で使えるドラフトを一本も得られなかったように、指示遵守をモデル任せにする品質保証はコスト面でも破綻する。求められるのは、モデル選定基準に「指示遵守の実測値」を組み込むか、出力検証を人間工程として制度化するかを、AI ガバナンス方針として明文化することだ。
本記事は海外記事の独自キュレーション・考察であり、原文の翻訳ではありません。引用部分の著作権は原著者に帰属します。