BART Lagrangian

🚀 BART-Lagrangian模型

BART-Lagrangian是一个基于BART架构的序列到序列Transformer模型，专门用于根据场、自旋和规范对称性的文本描述生成粒子物理拉格朗日量。它聚焦于物理的符号结构，能根据代表场类型、自旋、螺旋性、规范群等的自定义标记，生成连贯且准确的拉格朗日项。

🚀 快速开始

你可以使用Hugging Face的Transformers库直接使用BART-Lagrangian：

1. 安装前置依赖（例如使用pip）：

pip install transformers torch

2. 加载模型和分词器：

from transformers import BartForConditionalGeneration, PreTrainedTokenizerFast

model_name = "JoseEliel/BART-Lagrangian"
model = BartForConditionalGeneration.from_pretrained(model_name)
tokenizer = PreTrainedTokenizerFast.from_pretrained(model_name)

3. 准备输入。以下是一个简单示例，描述了两个场，一个是电荷为(1, 2, 1)的标量场，另一个是在(SU(3), SU(2), U(1))下螺旋性为 -1/2、电荷为(3, 2, 1/3)的费米子场：

input_text = "[SOS] FIELD SPIN 0 SU2 2 U1 1 FIELD SPIN 1 / 2 SU3 3 SU2 2 U1 1 / 3 HEL - 1 / 2 [EOS]"

4. 进行生成：

inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=2048)
decoded_outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print("Generated Lagrangian:")
print(decoded_outputs[0])

✨ 主要特性

• BART架构，具备序列到序列的预训练能力。
• 自定义分词方案，可捕捉场量子数和缩并。
• 在大量符号物理数据语料库上进行了专门训练。

📦 安装指南

使用pip安装所需的前置依赖：

pip install transformers torch

💻 使用示例

基础用法

from transformers import BartForConditionalGeneration, PreTrainedTokenizerFast

model_name = "JoseEliel/BART-Lagrangian"
model = BartForConditionalGeneration.from_pretrained(model_name)
tokenizer = PreTrainedTokenizerFast.from_pretrained(model_name)

input_text = "[SOS] FIELD SPIN 0 SU2 2 U1 1 FIELD SPIN 1 / 2 SU3 3 SU2 2 U1 1 / 3 HEL - 1 / 2 [EOS]"
inputs = tokenizer(input_text, return_tensors="pt")
outputs = model.generate(inputs['input_ids'], max_length=2048)
decoded_outputs = tokenizer.batch_decode(outputs, skip_special_tokens=True)
print("Generated Lagrangian:")
print(decoded_outputs[0])

📚 详细文档

评估

BART-Lagrangian在以下两方面进行了评估：

• 对符号拉格朗日量的内部测试集进行评估，以衡量其一致性和正确性。
• 由领域专家进行人工检查，以确认生成的拉格朗日项符合预期的物理规则（例如，正确的规范对称性、有效的缩并）。

更多关于基准测试和准确性的详细信息，请参考我们即将发表的论文 “Generating Particle Physics Lagrangians with Transformers”（arXiv链接占位）。

局限性

• 领域特定性：BART-Lagrangian专门用于拉格朗日量生成，在不相关的语言任务上可能表现不佳。
• 输入格式敏感性：该模型依赖于特定的场和对称性的分词格式。不正确或不完整的分词可能会产生次优或无效的输出。
• 潜在冗余性：一些生成的拉格朗日量可能包含冗余项，因为在初始训练中未进行非冗余算子过滤。
• 上下文长度限制：默认的最大生成长度为2048个标记，对于非常大或高度复杂的展开可能不够。

训练

• 架构：BART，约3.57亿参数的序列到序列Transformer。
• 数据：使用自定义管道（AutoEFT + 额外代码）合成生成的大量拉格朗日量语料库。
• 目标：根据场标记、自旋和规范群嵌入条件生成不变项。
• 硬件：在A100 GPU上进行训练，使用标准的PyTorch和Transformers库。

更多技术细节，请参阅上述即将发表的论文。

🔧 技术细节

BART-Lagrangian是基于BART架构的序列到序列Transformer模型，专门针对粒子物理拉格朗日量的生成进行训练。它通过自定义的分词方案，能够捕捉场的量子数和缩并等物理信息。在训练过程中，使用了大量的符号物理数据语料库，以确保模型能够生成准确且连贯的拉格朗日项。

📄 许可证

该模型、代码和权重遵循AGPL - 3.0许可证。

致谢

本研究的计算工作主要由瑞典国家超级计算学术基础设施（NAISS）支持，该设施由瑞典研究理事会资助（资助编号：2022 - 06725）。此外，项目还通过谷歌云平台获得的研究信用额度获得了额外的计算资源。

引用

如果您在工作中使用了BART-Lagrangian，请按以下方式引用：

@misc{BARTLagrangian,
      title={Generating particle physics Lagrangians with transformers}, 
      author={Yong Sheng Koay and Rikard Enberg and Stefano Moretti and Eliel Camargo-Molina},
      year={2025},
      eprint={2501.09729},
      archivePrefix={arXiv},
      primaryClass={cs.LG},
      url={https://arxiv.org/abs/2501.09729}, 
}

信息表格