Amazonが発表した「Amazon Nova Forge」は、独自データを用いたモデル構築の難所である「破滅的忘却」の回避手法を体系化した。専門特化と汎用性の両立を求める開発者にとって、この技術的指針は計算資源の浪費を防ぐための重要な羅針盤となるだろう。
Amazon Nova Forgeは、生成AIの専門特化と汎用性の両立というジレンマに対し、データミキシング戦略を提示している。AWSの技術ブログによれば、これは独自のデータとAmazonが厳選したキュレーション済みデータを混合することで、モデルが特定のドメイン知識を学習する際に既存の推論能力を失う「破滅的忘却」を抑制する仕組みである。Nova Forgeは、このデータミキシングが本番ワークロードにおける最適化の安定性確保に不可欠であると強調している。
Nova Forgeは、継続的事前学習（CPT）、教師あり微調整（SFT）、強化学習（RFT）の3段階からなるファインチューニングパイプラインをサポートする。AWSの公式ドキュメントでは、ベースラインの精度が低いモデルに対しては、強化学習を先行させるのではなく、教師あり学習による基礎能力の構築が不可欠であると定義されている。これにより、モデルが新しいドメインを学習する初期段階で、大量の非構造化データを効率的に活用することが可能となる。
AIモデルの微調整において、学習率は最も敏感なハイパーパラメータの一つである。Nova Forge SDKの技術仕様では、各トレーニング手法に対して最適化されたデフォルト値が設定されており、これらの推奨値からの安易な逸脱はモデルの崩壊やトレーニングの不安定化を招く主因となると警告している。この厳格な指針に従うことで、企業は試行錯誤による計算資源の浪費を劇的に削減し、開発現場の生産性向上に直結するコストメリットを享受できる。
Amazon Nova Forgeは、既存のモデル能力を特定のドメイン知識で「強化」する強力なツールである。しかし、モデルが根本的に欠如している知識や推論能力をゼロから「新規獲得」させることには限界がある。AWSの発表によれば、企業が自社専用モデルを構築する際、この「強化」と「新規獲得」の境界線を見極めることがプロジェクトの成否を分ける鍵となる。生成AI開発が「魔法」から「工学」へと成熟するにつれて、データ品質とパイプライン設計という泥臭いエンジニアリングへの回帰が求められるだろう。
