Hugging Faceの技術ブログで公開された研究によれば、AIモデルの出力が繰り返される「テキスト退化」現象に対し、DPO（直接選好最適化）が極めて有効な解決策となることが示された。これまでチャットボットの対話調整に限定されていたこの手法が、OCRなどの構造化データ抽出タスクにおいても、モデル自身の失敗を学習材料にすることで劇的な精度向上を実現している。
AIモデルが特定のトークンを無限に繰り返す「テキスト退化」は、生成AIの実用化を阻む深刻な課題である。従来の教師あり微調整（SFT）は、トークン単位で確率を最大化する手法であり、文脈全体で発生する「繰り返しループ」を明示的に罰することが構造的に困難であった。その結果、モデルは学習過程で特定のトークンが支配的な領域に陥り、一度ループに入ると自力で脱出できなくなる。これに対し、DPOは出力全体を「選択」または「拒否」のペアとして評価するため、このシステムレベルの欠陥を根本から修正できる。
Dharma-AIの研究チームは、このDPOをOCRタスクに適用し、テキスト退化の抑制に成功した。特筆すべきは、人間による評価を必要とせず、SFT後のモデルが生成した失敗作をあえて「拒否」データとして活用した点である。このアプローチにより、退化率を平均59.4％、最大で87.6％削減することに成功したとHugging Faceの発表は伝えている。DharmaOCR Lite（3B）モデルは、退化率をわずか0.20%に抑え、汎用モデルと比較して86%の減少を達成した。これはOCRタスクへのDPOの初の適用であり、データ活用のパラダイムシフトを予感させる。
このDPOの応用は、AIモデルを導入・運用する企業にとって極めて大きな意味を持つ。テキスト退化は、推論コストの増加やスループットの低下、異常に長い生成による計算コストの膨張など、生産性能を著しく悪化させる。モデル自身の失敗を学習材料とするDPOは、人間によるアノテーションコストを削減しつつ、業務現場での「事故」を劇的に減少させる。Dharma-AIの小型モデルが、Claude Opus 4.6を52分の1のコストで上回り、品質も8.8%向上したという実績は、「パラメータが多いほど賢い」という従来の常識を覆し、特定ドメイン特化型モデルの費用対効果を再定義するものである。
Dharma-AIの研究は、AI開発における重要な技術的マイルストーンとなる。今後の焦点は、この手法がコード生成や論理推論など、他の構造化生成タスクやより複雑な推論タスクにどれほど汎用性を持つかという点である。SFTとDPOの役割分担が明確化されることで、特定のドメインに特化した高性能モデルの構築コストは大幅に低下する可能性がある。一方で、モデルが自らの失敗から学習する際、新たなバイアスや別の失敗モードを生成するリスクはないのか、その検証は不可欠である。
