Google DeepMind、分散AI訓練の耐障害性を高める新手法「Decoupled DiLoCo」を発表

Google DeepMindは、分散環境でのAIモデル訓練を扱う新手法「Decoupled DiLoCo」をブログで公表しました。既存のDiLoCoの流れを引く取り組みとして、通信が不安定な環境下でも訓練を継続できる耐障害性を高めることを目指すものです。原文では詳細な技術説明が十分に示されていないため、本記事では公表されたタイトルと概要の範囲に限定して紹介します。