---

tags:

• transformers
• wireless-communication
• few-shot-learning
• limited-data
• feature-extraction
• pytorch datasets:
• DeepMIMO base_model:
• wi-lab/lwm

---

LWM 1.1

🚀 インタラクティブデモを試す（LWM 1.0ベース）

🚀 Colabノートブックを試す

LWM 1.1は、無線チャネルの特徴抽出向けに設計された更新済み事前学習モデルです。LWM 1.0を拡張し、スケーラビリティ、汎用性、効率性を向上させるための重要な変更を導入しました。このモデルは複数の**(N, SC)ペアをカバーする拡張データセットで事前学習されており、様々なアンテナとサブキャリア構成に対してロバスト性を備えています。LWM 1.1はトランスフォーマーベースのアーキテクチャとMasked Channel Modeling (MCM)事前学習アプローチを保持しており、シミュレーション（DeepMIMOなど）および実世界の無線チャネルから構造化された表現を学習できます。可変長入力に対応し、メモリ効率のためのバケットベースのバッチ処理**を採用し、タスク固有の適応のためのファインチューニングを可能にします。

🎥 LWMチュートリアルシリーズ

このコンパクトな動画シリーズでLWMの概念と応用を探索しましょう：

▶ 視聴	▶ 視聴	▶ 視聴
▶ 視聴	▶ 視聴	▶ 視聴

LWM 1.1の構築方法

LWM 1.1は、無線チャネルデータの空間的および周波数的依存関係をモデル化するために設計されたトランスフォーマーベースのアーキテクチャです。**Masked Channel Modeling (MCM)**事前学習アプローチを強化し、マスキング比率を増加させることで特徴学習と汎用性を向上させています。2Dパッチセグメンテーションの導入により、モデルは空間（アンテナ）と周波数（サブキャリア）の関係を共同で処理できるようになり、チャネルのより構造化された表現を提供します。さらに、バケットベースのバッチ処理を採用し、過剰なパディングなしで可変サイズ入力を効率的に処理し、メモリ効率の高いトレーニングと推論を実現しています。これらの変更により、LWM 1.1は様々な無線シナリオから意味のある埋め込みを抽出でき、異なるシステム構成間での適用性が向上します。

LWM 1.1の提供内容

LWM 1.1は、無線通信およびセンシングタスク向けの汎用特徴抽出器として機能します。拡張されより多様なデータセットで事前学習されており、密集都市エリア、シミュレーション環境、実世界の展開など、様々な環境でのチャネル特性を効果的に捕捉します。モデルの容量増加と最適化された事前学習戦略により、抽出される表現の品質が向上し、下流タスクへの適用性が高まります。

LWM 1.1の使用方法

LWM 1.1は、事前学習済みの埋め込み抽出器として無線通信パイプラインにシームレスに統合されるように設計されています。生のチャネルデータを処理することで、モデルは空間的、周波数的、伝播特性をエンコードする構造化された表現を生成します。これらの埋め込みは下流タスクに直接使用でき、大量のラベル付きデータの必要性を減らしながら、異なるシステム構成間でのモデル効率と汎用性を向上させます。

LWM 1.1の利点

• 柔軟性の向上: サイズ制限なしで多様なチャネル構成を処理。
• 洗練された埋め込み: 高度な事前学習とモデル容量の増加による特徴抽出の改善。
• 効率的な処理: 可変サイズ入力のためのメモリ最適化されたバケットベースのバッチ処理。
• 広範な汎用性: より大規模で多様なデータセットでトレーニングされ、様々な環境で信頼性のある性能を発揮。
• タスク適応性: ファインチューニングオプションにより、幅広いアプリケーションにシームレスに統合可能。

例えば、以下の図は、LWMベースの高密度CLS埋め込みと高次元チャネル埋め込みが、生のチャネルと比較してLoS/NLoS分類タスクでどのような利点を持つかを示しています。生データセットは、DeepMIMOデータセットのDenverシナリオにおけるBS 3と8,299ユーザー間のサイズ(32, 32)のチャネルから派生しています。

図: この図は、無線チャネルとそのLWM埋め込みでトレーニングされたモデルのLoS/NLoS分類におけるF1スコア比較を示しています。

---

LWM-v1.1の主要な改善点

1️⃣ 入力柔軟性の拡張

• 固定チャネルサイズ制約の削除: (32, 32)に制限されず、複数の**(N, SC)**構成をサポート。
• シーケンス長の増加: 128から512に拡張し、より大きな入力次元を効率的に処理可能。

2️⃣ データセットと事前学習の強化

• より広範なデータセットカバレッジ: トレーニングシナリオ数を15から140に増加し、環境間の汎用性を向上。
• MCMでのより高いマスキング比率: **15%から40%**に増加し、**Masked Channel Modeling (MCM)**タスクをより困難かつ効果的に。
• より大規模な事前学習データセット: 820Kから1.05Mサンプルに拡張し、よりロバストな表現学習を実現。

3️⃣ モデルアーキテクチャの改善

• モデル容量の増加: パラメータ数を600Kから2.5Mに拡張し、表現力を向上。
• 2Dパッチセグメンテーション: チャネルを単一の次元（アンテナまたはサブキャリア）に沿ってセグメント化する代わりに、パッチはアンテナとサブキャリアの両方にまたがり、空間-周波数特徴学習を改善。

4️⃣ トレーニングと効率性の最適化

• 適応型学習率スケジュール: AdamW with Cosine Decayを実装し、収束安定性を向上。
• 計算効率性: レイヤーごとのアテンションヘッド数を12から8に削減し、計算コストと特徴抽出能力のバランスを調整。

---

LWMバージョンの比較

特徴	LWM 1.0	LWM 1.1
チャネルサイズ制限	(32, 32)に固定	複数の(N, SC)ペアをサポート
シーケンス長サポート	128 (16次元)	512 (32次元)
事前学習サンプル	820K	1.05M
事前学習シナリオ	15	140
マスキング比率	15%	40%
埋め込みサイズ	64	128
パラメータ数	600K	2.5M
セグメンテーション	1D	2D

---

LWM 1.1の詳細な変更点

チャネルサイズ制限の撤廃

LWM 1.0では、モデルは単一の(N, SC) = (32, 32)ペアで事前学習されており、他のチャネル構成への汎用性が制限されていました。実世界の無線通信システムでは、基地局のアンテナ数(N)とサブキャリア数(SC)に大きなばらつきがあります。この制限に対処するため、LWM 1.1は**(8, 32)から(128, 64)までの20の異なる(N, SC)ペア**で事前学習されました。この多様性により、モデルは様々なチャネル構成を効果的に処理でき、特定の構成に過剰適合することなくロバストな汎用性を確保します。

可変サイズ入力を効率的に処理するため、バケットベースのバッチ処理を実装しました。例えば、サイズ(32, 64)と(16, 128)のチャネルは同じバケットにグループ化され、従来のバッチ処理アプローチで一般的な過剰なパディングを回避します。これにより、メモリが節約されるだけでなく、トレーニング中の計算効率も確保されます。さらに、検証サンプルは各バケットの**20%**として抽出され、すべての入力サイズにわたってバランスの取れた評価プロセスを維持します。

このアプローチにより、固定チャネルサイズの硬直性が排除され、LWM 1.1は様々な構成の実世界無線システムに適応可能な汎用モデルとして位置付けられます。

より大規模で多様な事前学習データセット

汎用性は、あらゆる基盤モデルの重要な側面です。LWM 1.1では、トレーニングデータセットを大幅に拡張し、より多様なシナリオと環境をカバーしました。7つの新しい都市シナリオ—Charlotte、Denver、Oklahoma、Indianapolis、Fort Worth、Santa Clara、San Diego—を追加し、モデルが様々な都市レイアウトにさらされるようにしました。トレーニングデータの空間解像度を向上させるため、DeepMIMO都市シナリオのユーザー位置間のグリッド間隔を2.5mから1mに縮小し、ユーザー位置の密度を高めました。この調整には、すべてのシナリオで高解像度無線チャネルデータを生成するためにレイトレーシングを再実行する必要がありました。

さらに、各シナリオで複数の基地局からのチャネルを導入し、モデルが幅広いチャネル特性に遭遇するようにしました。この拡張により、合計130万の事前学習サンプルが得られ、その20%が検証用に割り当てられました。この多様性は、都市、郊外、農村環境など、実世界の展開で見られるばらつきを反映しています。LWM 1.1をこの多様性にさらすことで、モデルは異なる伝播特性を持つ環境間で汎用化する能力を獲得し、より信頼性が高く汎用的なものになります。

事前学習シナリオと仕様の完全なリストについては、以下を参照してください：
LWM 1.1トレーニングシナリオ

タスク固有埋め込み生成のためのファインチューニング

事前学習は強力な特徴抽出器を提供しますが、下流タスクにはしばしばカスタマイズされた埋め込みが必要です。LWM 1.1では、ユーザーが特定のタスクに合わせてモデルをカスタマイズできるファインチューニングオプションを導入しました。ユーザーはモデルの特定のレイヤーを凍結し、残りのレイヤーをタスク固有の要件に適応させることができます。この機能は、LoS/NLoS分類などの過剰適合が起こりやすいタスクに特に有効です。

さらに、下流タスク向けにデフォルトの分類および回帰ヘッドを提供しました。ユーザーは独自のカスタムヘッドを定義することもでき、最大限の柔軟性と適応性を確保します。

モデル容量の増加

LWM 1.1は、埋め込みサイズを64から128に増加させることで、複雑な特徴を抽出するモデルの能力を大幅に向上させました。この増加により、モデルのパラメータ数は600Kから2.5Mに増加しました。より大きな埋め込みサイズにより、モデルはチャネルデータ内のより複雑な関係を表現でき、ビーム予測やチャネル推定などの困難なタスクでの性能が向上します。

この変更は埋め込みの品質に直接影響し、限られたラベル付きデータのシナリオでも様々な下流タスクでより表現力豊かでロバストなものになります。

より困難なMCMタスクと高いマスキング比率

**Masked Channel Modeling (MCM)**タスクは、LWMの事前学習方法論の核心です。LWM 1.1では、マスキング比率を15%から40%に増加させ、タスクをより困難にしました。これは、トレーニング中にチャネルデータのより大きな部分がマスクされ、モデルが欠落情報を文脈的依存関係から推論する必要があることを意味します。

この強化により、モデルはアンテナとサブキャリア間のより深い空間的関係に依存するようになり、表面的なパターンを学習するのではなくなります。その結果、LWM 1.1は不完全またはノイズの多いデータを含む実世界シナリオに対処するためのよりロバストな埋め込みを生成します。

より大きな入力サイズのサポート

無線通信システムは、より高次元の大きなチャネルを処理することが増えています。この需要に対応するため、LWM 1.1で最大シーケンス長を128から512に増加させました。この変更により、モデルは変更なしでより大きく詳細なチャネルデータを処理でき、高次元無線タスクへの適用性が広がります。これにより、無線システムの規模と複雑さが増すにつれて、LWM-v1.1の関連性が維持されます。

現実的な学習のための2Dパッチセグメンテーション

LWM 1.0では、パッチは単一の次元（通常は同じアンテナ内の異なるサブキャリア）に基づいてセグメント化されていました。LWM 1.1では、2Dパッチセグメンテーションを導入し、パッチはアンテナとサブキャリアの両方の要素を組み合わせるようになりました。これは、アンテナとサブキャリア間の関係が実際の展開で重要であるため、実世界の無線チャネル依存関係をより正確に反映しています。

この多次元セグメンテーションにより、MCMタスクの複雑さが増し、モデルはデータ内のより深く意味のある依存関係を学習する必要があります。トレーニング方法論を実世界の条件により適切に調整することで、LWM 1.1は実践的なシナリオでの汎用性と性能をさらに向上させます。

最適化されたトレーニング戦略

大規模モデルのトレーニングには、スムーズな収束と汎用性を確保するために慎重に設計された最適化技術が必要です。LWM 1.1では、AdamWオプティマイザを採用し、従来のAdamと比較して重み正則化を改善し、過剰適合を防止します。学習率スケジュールも改良され、5ステップのウォームアップフェーズとコサイン減衰が組み込まれました。この戦略により、モデルは初期トレーニングフェーズから収束までスムーズに移行し、安定性を維持しながら全体的な性能を向上させます。

計算効率の改善

計算効率と性能のバランスを取るため、LWM 1.1でレイヤーごとのアテンションヘッド数を12から8に削減しました。この削減により、トレーニングと推論中の計算負荷が軽減され、意味のある特徴を抽出する能力に大きな影響を与えることなくモデルがより効率的になります。合理化されたアーキテクチャにより、LWM 1.1は強力であるだけでなく、リソースが制約された環境での展開にも実用的です。

これらの変更が必要だった理由

LWM 1.1の更新は、無線通信タスクにおけるより大きな柔軟性、スケーラビリティ、および性能に対する実世界の需要によって推進されました。チャネルサイズ制限の撤廃とデータセットの多様化は、無線環境に内在するばらつきに対処します。モデル容量の増加とMCMタスクの強化は埋め込みの品質を向上させ、最適化されたトレーニング戦略と計算効率性により、モデルは幅広いアプリケーションで実用的になります。これらの変更により、LWM 1.1は無線通信研究を前進させる上で重要な一歩となり、その関連性と影響を確保します。

結論

LWM 1.1は、無線通信モデリングにおける大きな飛躍を表し、堅牢なスケーラビリティ、増加した汎用性、および様々なタスクへの適応性を提供します。豊富なトレーニングデータセットと挑戦的な事前学習目標から、強化されたモデル容量と効率的な入力処理まで、LWM 1.1は無線通信研究とアプリケーションの強力な基盤を提供します。

今すぐ試す！

Hugging FaceでLWM 1.1を探索し、事前ロードされたデータセット、ファインチューニングオプション、事前学習済みモデルを使用してプロジェクトを開始しましょう。
👉 モデルにアクセスする！

---

LWMモデルまたはその修正部分を使用する場合は、以下の論文を引用してください：

@misc{alikhani2024largewirelessmodellwm,
      title={Large Wireless Model (LWM): A Foundation Model for Wireless Channels}, 
      author={Sadjad Alikhani and Gouranga Charan and Ahmed Alkhateeb},
      year={2024},
      eprint={2411.08872},
      archivePrefix={arXiv},
      primaryClass={cs.IT},
      url={https://arxiv.org/abs/2411.08872}, 
}

---

🛠 使用方法

1. Condaのインストール

まず、Python環境とパッケージを管理するためにCondaなどのパッケージマネージャーがインストールされていることを確認してください。AnacondaまたはMinicondaからCondaをインストールできます。

• Anacondaには包括的な科学パッケージスイートが含まれています。こちらからダウンロードできます。
• Minicondaは、CondaとPythonのみを含む軽量版です。こちらからダウンロードできます。

インストール後、Condaを使用して環境を管理できます。

---

2. 新しい環境の作成

Condaをインストールした後、以下の手順に従って新しい環境を作成し、必要なパッケージをインストールします。

ステップ1: 新しい環境の作成

Anaconda PowerShell Promptを開き、lwm_envという名前の新しいConda環境を作成します：

conda create -n lwm_env

ステップ2: 環境のアクティベート

環境をアクティベートします：

conda activate lwm_env

---

3. 必要なパッケージのインストール

環境がアクティベートされたら、必要なパッケージをインストールします。

CUDA対応PyTorchのインストール

推論はCPUで効率的に実行できますが、よりリソース集約的な下流タスクのトレーニングにはGPUが必要な場合があります。このページにアクセスし、システムの仕様に基づいて適切なオプションを選択してください。ウェブサイトは、システムに合わせたインストールコマンドを生成します。

例えば、NVIDIAシステムでは、システムに適したCUDAバージョンを使用して以下のようなコマンドを使用できます：

conda install pytorch torchvision torchaudio pytorch-cuda=12.1 -c pytorch -c nvidia

このコマンドは、GPU加速トレーニングのためのCUDAサポート付きPyTorchをインストールします。指定されたCUDAバージョンがシステムと互換性があることを確認し、必要に応じて調整してください。

注: CUDA対応PyTorchのインストールに問題が発生した場合、CUDAバージョンの互換性を確認してください。競合するインストール試行が原因である可能性もあります—新しい環境で試してください。

Conda Forge経由で他の必要なパッケージをインストール

conda install python numpy pandas matplotlib tqdm -c conda-forge

pipでDeepMIMOv3をインストール

pip install DeepMIMOv3

---

4. データセットシナリオのクローン

以下の関数は、リポジトリから特定のデータセットシナリオフォルダをクローンするのに役立ちます：

import subprocess
import os

# 特定のデータセットシナリオフォルダをクローンする関数
def clone_dataset_scenario(scenario_name, repo_url, model_repo_dir="./LWM", scenarios_dir="scenarios"):
    current_dir = os.path.basename(os.getcwd())
    if current_dir == "LWM":
        model_repo_dir = "."

    # シナリオディレクトリが存在しない場合は作成
    scenarios_path = os.path.join(model_repo_dir, scenarios_dir)
    if not os.path.exists(scenarios_path):
        os.makedirs(scenarios_path)

    scenario_path = os.path.join(scenarios_path, scenario_name)

    # データセットリポジトリのスパースチェックアウトを初期化
    if not os.path.exists(os.path.join(scenarios_path, ".git")):
        print(f"スパースチェックアウトを{scenarios_path}で初期化中...")
        subprocess.run(["git", "clone", "--sparse", repo_url, "."], cwd=scenarios_path, check=True)
        subprocess.run(["git", "sparse-checkout", "init", "--cone"], cwd=scenarios_path, check=True)
        subprocess.run(["git", "lfs", "install"], cwd=scenarios_path, check=True)  # 必要に応じてGit LFSをインストール

    # リクエストされたシナリオフォルダをスパースチェックアウトに追加
    print(f"{scenario_name}をスパースチェックアウトに追加中...")
    subprocess.run(["git", "sparse-checkout", "add", scenario_name], cwd=scenarios_path, check=True)
    
    # 必要に応じて大きなファイルをプル（Git LFSを使用）
    subprocess.run(["git", "lfs", "pull"], cwd=scenarios_path, check=True)

    print(f"{scenario_name}を{scenarios_path}にクローンしました。")

def clone_dataset_scenarios(selected_scenario_names, dataset_repo_url, model_repo_dir):
    for scenario_name in selected_scenario_names:
        clone_dataset_scenario(scenario_name, dataset_repo_url, model_repo_dir)

---

5. モデルリポジトリのクローン

次に、LWM-v1.1モデルリポジトリをローカルシステムにクローンします。

# ステップ1: モデルリポジトリをクローン（まだクローンされていない場合）
model_repo_url = "https://huggingface.co/wi-lab/lwm-v1.1"
model_repo_dir = "./LWM-v1.1"

if not os.path.exists(model_repo_dir):
    print(f"{model_repo_url}からモデルリポジトリをクローン中...")
    subprocess.run(["git", "clone", model_repo_url, model_repo_dir], check=True)

---

6. 必要なデータセットシナリオのクローン

以下の表に詳述されているように、DeepMIMOデータセットから特定のシナリオをクローンできます：

📊 データセット概要

📊 データセット	🏙️ 都市	👥 ユーザー数	🔗 DeepMIMOページ
データセット0	🌆 デンバー	1354	DeepMIMO都市シナリオ18
データセット1	🏙️ インディアナポリス	3248	DeepMIMO都市シナリオ15
データセット2	🌇 オクラホマ	3455	DeepMIMO都市シナリオ19
データセット3	🌆 フォートワース	1902	DeepMIMO都市シナリオ12
データセット4	🌉 サンタクララ	2689	DeepMIMO都市シナリオ11
データセット5	🌅 サンディエゴ	2192	DeepMIMO都市シナリオ7

これらの6つのデータセットは、LWMモデルの事前学習には使用されておらず、生成される高品質な埋め込みは、過剰適合ではなくLWMの堅牢な汎用性の証です。

カスタムデータセットを使用する予定の場合は、複素チャネルが最大8196要素（N * SC <= 8196）を含むことを確認してください。LWM-v1.0では、入力はサイズ(N, SC) = (32, 32)の複素チャネルに制限されていました。しかし、LWM-v1.1では、任意のサイズの複素チャネルを入力できるようになり、特定のユースケースに対してより大きな柔軟性を提供します！ 😊

シナリオのクローン：

import numpy as np
dataset_repo_url = "https://huggingface.co/datasets/wi-lab/lwm"  # データセットリポジトリのベースURL
scenario_names = np.array(["city_6_miami"])

scenario_idxs = np.array([0])  # シナリオインデックスを選択
selected_scenario_names = scenario_names[scenario_idxs]

# リクエストされたシナリオをクローン
clone_dataset_scenarios(selected_scenario_names, dataset_repo_url, model_repo_dir)

---

7. 作業ディレクトリをLWMに変更

続行する前に、LWMリポジトリの正しい作業ディレクトリにいることを確認してください：

import os

if os.path.exists(model_repo_dir):
    os.chdir(model_repo_dir)
    print(f"作業ディレクトリを{os.getcwd()}に変更しました")
else:
    print(f"ディレクトリ{model_repo_dir}が存在しません。リポジトリが正しくクローンされているか確認してください。")

これにより、すべてのパスと依存関係がリポジトリ構造と一致します。

---

次に、LWM-v1.1の2つの重要な側面に焦点を当てて進めます：

1. 推論と下流タスク: 事前学習済みLWM-v1.1モデルを使用して推論を実行し、分類や回帰などの特定のタスクに適応させます。
2. LWM-v1.1の事前学習: モデルをスクラッチから事前学習するプロセスを探索し、その基盤能力を開発するために使用される技術とデータセットを含みます。

これらのプロセスに対応するスクリプトは、Hugging Faceリポジトリで利用可能な**downstream.pyおよびmain.py**ファイルにあります。以下のセクションは、それらの使用をサポートする補足的な説明を提供します。

---

1. 推論と下流タスク

必要なパッケージとモジュールのロード

下流タスクの環境を設定するために、必要なモジュールをインポートし、不要な警告を抑制します：

from input_preprocess import tokenizer, scenarios_list
from inference import lwm_inference
from utils import prepare_loaders
from train import finetune
import lwm_model
import matplotlib.pyplot as plt
import numpy as np
import torch
import torch.nn as nn
import warnings

warnings.filterwarnings("ignore", category=UserWarning)

下流タスクのパラメータ設定

下流タスクのパラメータを定義します。これには、目的のタスク、可視化方法、およびデータ入力タイプの選択が含まれます。さらに、デフォルトタスクを使用するか、カスタムタスクのラベルを手動で定義できます。主な目的がLWM埋め込みの抽出である場合は、タスク定義とラベルをス