Ddpm Mediterranean Reanalysis Tas

🚀 ヨーロッパ再解析超解像

このプロジェクトの目的は、ERA5のグローバル再解析データをダウンスケーリングして、高解像度の地域再解析データ（CERRAが生成するものに類似）を生成できる機械学習（ML）モデルを作成することです。

これは、U-Net、条件付きGAN、拡散モデルなどの最先端のディープラーニング（DL）技術を使用することで達成されます。さらに、CERRAの疑似観測値を追加の予測因子として使用することの潜在的な利点を評価するための取り込みモジュールが実装されます。モデルが設計され、訓練された後は、詳細な検証フレームワークが導入されます。

このフレームワークは、古典的な決定論的誤差指標と、時系列、地図、時空間相関、コンピュータビジョン指標などの詳細な検証を組み合わせ、月、季節、地理的地域ごとに分解して、モデルが誤差を減らし、物理プロセスを表現する有効性を評価します。この粒度レベルにより、より包括的かつ正確な評価が可能になり、モデルが実践で有効であることを保証するために重要です。

さらに、DLモデルの解釈可能性ツールを使用して、異なるニューロンの活性化と入力データ内の異なる特徴の重要性を分析することで、これらの複雑な構造の内部動作と意思決定プロセスを理解することができます。

この研究は、Code for Earth 2023イニシアチブによって資金提供されています。

ノイズ除去モデルはApache 2.0でリリースされており、どこでも制限なく使用できます。

🚀 クイックスタート

このプロジェクトは、ERA5のグローバル再解析データをダウンスケーリングして高解像度の地域再解析データを生成するMLモデルを作成することを目指しています。以下に、プロジェクトの概要と進め方を説明します。

✨ 主な機能

• 最先端のDL技術を使用して、ERA5のデータをダウンスケーリングし、高解像度の地域再解析データを生成します。
• 詳細な検証フレームワークを使用して、モデルの有効性を評価します。
• DLモデルの解釈可能性ツールを使用して、モデルの内部動作を理解します。

📚 ドキュメント

モデル詳細

このモデルは、バイキュービック補間された入力に対してインスタンス正規化を使用して訓練されたノイズ除去ニューラルネットワークに対応しています。

diffusers.UNet2DModelを使用して、異なるスケジューラー（DDPMScheduler、DDIM、LMSDiscreteScheduler）を持つノイズ除去拡散確率モデルを実装しています。

モデル説明

Diffusionモデル（DM）を使用して、地中海地域の地域再解析グリッドをダウンスケーリング（0.25ºから0.05º）する結果を提示します。

• 開発者: Predictia Intelligent Data Solutions S.L.のチーム
• モデルタイプ: ビジョンモデル
• 言語: en, es
• ライセンス: Apache-2.0
• 詳細情報のリソース: 詳細情報が必要です
  • GitHubリポジトリ

ノイズ除去ネットワーク

ノイズ除去ネットワークについては、diffusers.UNet2DModelの1つのアーキテクチャのみを探索しています。異なるモデルサイズで、64、128、192の出力チャネルを持つ3つのブロックから、224、448、672、896の出力チャネルを持つ4つのブロックのデフォルト構成まであります。

このネットワークは常に以下を入力として受け取ります。

• タイムステップ\(t\)でのノイズ画像と、バイキュービックアップサンプリングされたERA5フィールドに対応する2つのチャネル。
• タイムステップ\(t\)で、埋め込みに投影され、入力に追加されます。

ノイズスケジューラー

以下の異なるスケジューラーが検討されています。

• DDPMScheduler
• DDIM
• LMSDiscreteScheduler

訓練データ

使用されるデータセットは、ERA5とCERRAの再解析の合成です。

入力グリッド（ERA5）の空間範囲は以下の通りで、(60, 42)の次元の2D配列に対応しています。

      longitude: [-8.35, 6.6]
      latitude: [46.45, 35.50]

一方、ターゲットの高解像度グリッド（CERRA）は、(240, 160)の次元の2D行列に対応しています。

      longitude: [-6.85, 5.1]
      latitude: [44.95, 37]

訓練に使用されるデータサンプルは、1981年から2013年（両方含む）の期間と、2014年から2017年のエポックごとの検証用です。

正規化技術

ECMWF Code 4 Earthの間とその後に、これらの正規化技術すべてが探索されています。

過去の情報を使用する場合：これは、各領域（ピクセルまたはドメイン）の訓練期間中の過去の気候統計を計算し、それに対して正規化することに対応します。このケースでは、月ごとの気候統計が考慮されますが、例えば、日の時間帯ごとに分解することもできます。

• ピクセル単位：この場合、気象フィールドの各ピクセルの気候統計が計算されます。その後、各ピクセルは独自の気候統計で標準化されます。
• ドメイン単位：ここでは、対象とするドメイン全体の気候統計が計算されます。統計を計算した後、2つの正規化スキーマが可能です。
  • 独立：ERA5とCERRAをそれぞれ独自の統計で独立して正規化することを指します。
  • 依存：ERA5の気候統計のみを使用して、ERA5とCERRAの両方を同時に標準化することを指します。

依存アプローチは、ピクセル単位のスキーマでは実行不可能です。入力と出力のパッチピクセル間に直接の対応関係がないためです。もしそうしたい場合は、バイキュービックダウンサンプリングされたERA5の統計を計算し、それらの統計をCERRAの正規化に使用することが可能です。

過去の情報を使用しない場合：これは、各サンプルをERA5フィールドの平均と標準偏差で独立して正規化することに対応します。これは、MLコミュニティではインスタンス正規化として知られています。ここでは、推論中に出力が利用できないため、入力の分布統計のみを使用する必要がありますが、この使用ケースでは2つの異なるバリエーションが可能です。

• 入力ERA5の統計を使用します。ERA5はCERRAよりも広い領域をカバーしていることを思い出してください。
• バイキュービックダウンスケーリングされたERA5の統計を使用します。これはCERRAと同じ領域を表します。

これら2つのアプローチの違いは、ダウンスケーリングされたまたはソースのERA5で統計を計算することではありません。違いは、入力パッチがより広い領域をカバーしているため、より異なる分布を持っていることです。したがって、2番目のアプローチは、ダウンスケーリングされた領域の分布が出力分布により類似するため、より正しいように見えます。

結果

このモデルの結果は許容できないと見なされています。モデルの入力としても考慮される単純な方法であるバイキュービック補間と比較できないためです。したがって、他の共変量（例えば、日の時間）を含めるなど、より複雑なテストが実行されていますが、モデルのパフォーマンスに対するそれらの実際の影響を判断できないため、ここでは詳細を記載していません。

このリポジトリでは、scheduler_config.jsonで指定されたスケジューラーと、config.jsonに示されたパラメーターで訓練され、ダウンスケーリングされたERA5入力に対してインスタンス正規化を使用した、最もパフォーマンスの良いDiffusionモデルを提示しています。

以下は、6400万パラメーターのDiffusionモデルのサンプル予測で、1000の推論タイムステップで、2018年1月1日の00時にCERRA再解析と比較したものです。

正規化

• ピクセル単位の正規化は、この問題設定では意味がありません。空間パターンが消え、DDPMが何も学習できないためです。
• 対照的に、ドメイン統計でスケーリングすると、DDPMは入力ERA5には存在しない高解像度の詳細を再現します。しかし、現在の高解像度フィールドと一致させることはできません。DDPMのサンプルはCERRAのようなフィールドの外観を持っていますが、ある期間にわたってMSEを計算すると、バイキュービック補間の3倍大きくなります。
• ドメイン統計でスケーリングする場合、入力と出力に同じ統計を使用すると、予測の平均値をわずかにより良く表現します。しかし、サンプルで見られるように、すべてがフィールドの分散を再現することに失敗します。
• ノイズ除去ネットワークの入力（ダウンスケーリングされたERA5）に直接インスタンス正規化を適用すると、他の方法よりも空間パターンをわずかにより良く再現します。誤差指標は空間的により均一です。例えば、山岳地帯の空間パターンが非常によく再現されます。

スケジューラー

訓練時間やサンプリング品質（最大能力で）には大きな違いはありません。スケジューラー間の違いは、推論時に現れる可能性があります。DDIMまたはLMSDiscreteは、より少ない推論ステップでより高品質のサンプルを生成でき、その結果、計算コストが低くなります。

最大能力（推論ステップ = 訓練タイムステップ数）で満足できるパフォーマンスが得られていないため、サンプリング中のスケジューラーの効率についての研究は行われていません。科学文献によると、40サンプル（現在の推論タイムステップの1/25）で十分である可能性があります。

モデルサイズ

これは訓練時間に強く関連しています。ネットワークの順伝播と逆伝播プロセスを実行するのにかかる時間だけでなく、サンプルをロードするために利用可能なメモリが限られているため、各エポックを完了するためにより多くの（小さな）バッチが必要になるからです。

利用可能な限られた計算リソースと考慮されたデータセットで実施されたテストによると、数十の出力チャネルから数百の出力チャネルに移行すると改善が見られ、2000万から1億のパラメーターを持つネットワークが得られます。しかし、訓練中の失敗（勾配爆発など）のため、デフォルトサイズに到達することはできません。

次のステップ

これらの要素（モデルサイズ、正規化、ノイズスケジューラー）は広く探索されているため、研究努力を以下のような他の側面に移す必要があります。

• VAEを訓練して、潜在DMで動作させます。これは、学習可能な正規化として考えることができ、サンプルサイズを削減し、それによって計算コストを削減するという追加の利点があります。
• より大きなノイズ除去ネットワークを訓練します。この目的のために、より大きなVMが必要になる場合や、より多くのサンプルで訓練する必要がある場合があります。例えば、最初のエポックではランダムなパッチで学習を開始し、最後のエポックで現在のドメインで微調整することが有益な場合があります。
• Score Based DMのような他のDMのバリエーションを試します。
• diffusersで利用可能な新しいアーキテクチャを試します。

コンピュータビジョンの超解像のような他の問題に関する科学文献に基づくと、より大きなサンプル（3チャネルではなく1チャネル、より多くのピクセル）で作業する場合、このタイプのアーキテクチャとDMのバリエーションでより良い結果を達成できるはずです。

最も制限的な要素に対処するために、最良の選択肢はオプション1と2を探索することだと考えています。

計算インフラストラクチャ

ディープラーニングプロジェクトでのGPUの使用は、モデルの訓練と推論を大幅に加速し、計算時間を大幅に削減します。これにより、複雑なタスクや大規模なデータセットを効率的に処理することが可能になります。

パートナーの寛大さと協力は、このプロジェクトの成功に不可欠です。研究と開発の取り組みに大きく貢献しています。

• AI4EOSC：AI4EOSCは「Artificial Intelligence for the European Open Science Cloud」の略です。欧州オープンサイエンスクラウド（EOSC）は、研究データとサービスの連合環境を作成することを目的とした欧州連合のイニシアチブです。AI4EOSCは、EOSCフレームワーク内の特定のプロジェクトまたはイニシアチブで、オープンサイエンスの文脈で人工知能（AI）技術の統合と応用に焦点を当てています。
• European Weather Cloud：European Weather Cloudは、欧州の気象アプリケーション開発と運用のためのクラウドベースの協力プラットフォームです。提供されるサービスは、天気予報データと製品の配信から、コンピューティングとストレージリソースの提供、サポート、専門的なアドバイスまで幅広いです。

ハードウェア

このプロジェクトでは、それぞれ専用のグラフィック処理ユニット（GPU）を備えた2つの仮想マシン（VM）をデプロイしています。1つのVMは16GBのGPUを搭載し、もう1つはより大きな20GBのGPUを搭載しています。このリソース構成により、データ処理からモデル訓練まで幅広い計算タスクを効率的に管理でき、最終的にプロジェクトを成功させることができます。

ソフトウェア

このモデルを訓練して評価するために使用されるコードは、ECWMF Code 4 Earth組織にホストされているGitHubリポジトリECMWFCode4Earth/DeepRを通じて無料で利用できます。

著者

• Mario Santa Cruz. Predictia Intelligent Data Solutions S.L.
• Antonio Pérez. Predictia Intelligent Data Solutions S.L.
• Javier Díez. Predictia Intelligent Data Solutions S.L.

📄 ライセンス

ノイズ除去モデルはApache 2.0でリリースされており、どこでも制限なく使用できます。