Amazon Web Servicesは、機械学習プラットフォーム「Amazon SageMaker AI」において、推論時のコンテナイメージキャッシュ機能を発表した。これにより、トラフィック急増時に新規インスタンスを立ち上げる際の起動時間が最大で半分に短縮され、生成AIサービスの応答性が飛躍的に向上する。
生成AIの普及に伴い、大規模言語モデル（LLM）を扱う推論基盤では「コールドスタート」問題が課題となっている。AWSの技術ブログによれば、数ギガバイトに及ぶコンテナイメージのダウンロードとモデルデータのロードが、トラフィック急増時のスケールアウトにおける最大のボトルネックであった。今回導入されたコンテナキャッシュ機能は、物理的なダウンロード時間を事実上ゼロにすることで、新規インスタンス起動時の遅延を大幅に削減することを目指している。
Amazon SageMaker AIに導入されたコンテナキャッシュ機能は、新規インスタンス起動時にAmazon ECRからのイメージ取得プロセスを排除する。AWSの発表によれば、この機能は特定のアプリケーション改修を必要とせず、サポートされているアクセラレータインスタンスで自動的に有効化される。検証データでは、Qwen3-8Bモデルを用いたケースで、従来の525秒から258秒へと約51％の起動時間短縮を実現したとされている。
このコンテナキャッシュ機能によるスケールアウトの高速化は、インフラ運用担当者にとって大きな意味を持つ。トラフィック変動に対する応答性が向上するため、必要最小限のインスタンス数で急なアクセス増に対応可能となる。これにより、過剰なプロビジョニングを抑制し、アイドル状態のインスタンスを削減できるため、GPUインスタンスの利用効率が向上し、結果として生成AI推論基盤の運用コスト最適化に直結すると見られる。
コンテナキャッシュ機能の自動適用は、運用の簡素化というメリットがある一方で、キャッシュ戦略のブラックボックス化という側面も持つ。キャッシュの有効期限や、モデルのバージョンアップ時におけるキャッシュの整合性管理など、高度なチューニングを求めるユーザーにとって、AWS側の制御範囲がどこまで及ぶのかは今後の焦点となる。また、マルチモデル環境や複雑な推論パイプラインにおいて、この機能がどの程度の安定性を発揮できるかも、普及の鍵となるだろう。
