BART Lagrangian

🚀 BART-Lagrangian

BART-Lagrangianは、場、スピン、ゲージ対称性のテキスト記述から素粒子物理学のラグランジアンを生成するように特化して訓練された、シーケンス-to-シーケンスのTransformer（BARTベース）モデルです。一般的な言語モデルとは異なり、BART-Lagrangianは物理学の記号構造に焦点を当てており、場のタイプ、スピン、ヘリシティ、ゲージ群（SU(3)、SU(2)、U(1)）などを表すカスタムトークンを与えると、首尾一貫した正確なラグランジアン項を生成することを目指しています。

🚀 クイックスタート

BART-Lagrangianは、物理学の記号構造に特化したシーケンス-to-シーケンスのTransformerモデルです。テキスト記述から素粒子物理学のラグランジアンを生成することができ、研究や実験に役立ちます。

✨ 主な機能

• BARTアーキテクチャを使用し、シーケンス-to-シーケンスの事前学習が行われています。
• 場の量子数と縮約を捉えるカスタムトークン化方式を採用しています。
• 大規模な物理学の記号データセットでの専用トレーニングが行われています。

📦 インストール

BART-LagrangianをHugging Face Transformersライブラリで直接使用することができます。以下の手順でインストールします。

1. 前提条件をインストールします（例えばpipを使用する場合）:

   pip install transformers torch
   

2. モデルとトークナイザーをロードします:

from transformers import BartForConditionalGeneration, PreTrainedTokenizerFast

model_name = "JoseEliel/BART-Lagrangian"
model = BartForConditionalGeneration.from_pretrained(model_name)
tokenizer = PreTrainedTokenizerFast.from_pretrained(model_name)

💻 使用例

基本的な使用法

# 入力を準備します。以下は、2つの場を記述する簡単な例です。
# 電荷が(1, 2, 1)のスカラー場と、ヘリシティが-1/2で電荷が(3, 2, 1/3)のフェルミオン場です。
input_text = "[SOS] FIELD SPIN 0 SU2 2 U1 1 FIELD SPIN 1 / 2 SU3 3 SU2 2 U1 1 / 3 HEL - 1 / 2 [EOS]"

# 生成を実行します。
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=2048)
decoded_outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print("Generated Lagrangian:")
print(decoded_outputs[0])

📚 ドキュメント

評価

BART-Lagrangianは、以下の2つの観点から評価されています。

• 記号的なラグランジアンの内部テストセットを使用して、一貫性と正確性を測定しています。
• ドメインの専門家による目視検査を行い、生成されたラグランジアン項が期待される物理学の法則に沿っていることを確認しています（例えば、正しいゲージ対称性や有効な縮約）。

ベンチマークと精度の詳細については、近日公開予定の論文「Generating Particle Physics Lagrangians with Transformers」（arXivリンクプレースホルダー）を参照してください。

制限事項

• ドメイン特化性: BART-Lagrangianはラグランジアン生成に特化しており、関連性のない言語タスクでは性能が低下する可能性があります。
• 入力形式の敏感性: モデルは場と対称性の特定のトークン化形式に依存しています。不正確または不完全なトークン化は、最適でないまたは無効な出力をもたらす可能性があります。
• 潜在的な冗長性: 一部の生成されたラグランジアンには冗長な項が含まれることがあります。これは、初期トレーニングの範囲外であった非冗長演算子のフィルタリングに起因します。
• コンテキスト長の制限: デフォルトの生成最大長は2048トークンであり、非常に大規模または高度に複雑な展開には不十分な場合があります。

トレーニング

• アーキテクチャ: BART、シーケンス-to-シーケンスのTransformer、約3.57億のパラメータ。
• データ: カスタムパイプライン（AutoEFT + 追加コード）を使用して合成生成された大規模なラグランジアンのコーパス。
• 目的: 場のトークン、スピン、ゲージ群の埋め込みを与えた不変項の条件付き生成。
• ハードウェア: A100 GPUでトレーニングされ、標準のPyTorchとTransformersライブラリを利用しています。

詳細な技術情報については、上記で引用した論文を参照してください。

📄 ライセンス

モデル、コード、および重みは、AGPL-3.0ライセンスの下で提供されています。

謝辞

この研究の計算作業は、主にスウェーデンの国立スーパーコンピューティングインフラストラクチャ（NAISS）によって支援されており、スウェーデン研究評議会（助成番号2022 - 06725）によって資金提供されています。 追加のコンピューティングリソースは、プロジェクトに付与された研究クレジットを通じてGoogle Cloud Platformから提供されています。

引用

あなたの研究でBART-Lagrangianを使用する場合は、以下のように引用してください。

@misc{BARTLagrangian,
      title={Generating particle physics Lagrangians with transformers}, 
      author={Yong Sheng Koay and Rikard Enberg and Stefano Moretti and Eliel Camargo-Molina},
      year={2025},
      eprint={2501.09729},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2501.09729}, 
}