Amazonは、AIモデルの追加学習時に生じる推論能力の低下を防ぐ「自己蒸留推論（SDR）」を発表した。Amazonの技術ブログによれば、この新手法はモデル自身が推論過程を生成し学習することで、汎用的な推論能力を維持しつつ特定タスクへの適応を可能にするものだ。
生成AIの性能を左右する推論能力は、追加学習（SFT）の過程で損なわれるという課題が指摘されてきた。Amazon Nova 2の技術報告書によると、推論トレースを含まないデータセットでSFTを行うと、モデルが効率化のために推論をスキップする「ショートカット学習」に陥るためである。その結果、数学やコーディングといった高度なタスクの能力が著しく低下し、Nova 2を用いた検証では、従来のSFT手法で数学性能が70％から6％まで急落するケースも確認されている。
Amazonが発表したSDRは、この推論能力の抑制を回避する新たな手法である。同社の技術文書では、外部の教師モデルや複雑なモデルマージを必要とせず、モデル自身が生成した推論過程を学習データに組み込む仕組みが解説されている。これにより、追加学習中の破滅的忘却を抑制し、ベースモデルの汎用性能を維持したまま、ターゲットタスクの性能を平均6.5％以上向上させることに成功した。モデル自身の内省を活用することで、特定のドメインへの適応と汎用的な推論能力の両立を実現している。
SDRの導入は、企業が独自のAIを開発する際のデータ準備プロセスに大きな変革をもたらす。従来、高度な推論能力を維持するためには、推論過程を含む高品質なデータセットを人間がアノテーションする必要があり、これが多大なコストと時間を要する課題であった。SDRは推論トレースの人間による作成コストを削減しつつモデルの信頼性を担保できるため、AI開発におけるデータ準備のハードルが劇的に下がると考えられる。これにより、実務導入に向けたAI開発が加速する可能性が高い。
SDRは画期的な手法である一方で、いくつかの未解決の論点も存在する。この手法はモデルの自己生成データに依存するため、元のモデルが持つ推論のバイアスや誤情報を増幅させるリスクを孕んでいる。また、推論過程を生成する際の計算コスト増加が、大規模なデータセットでの学習効率にどの程度影響するのかは、依然として慎重な評価が必要である。今後の実用化においては、これらの課題に対する検証と対策が焦点となるだろう。
