Randeng Deltalm 362M En Zh

🚀 燃燈-Deltalm-362M-英中翻譯模型

本模型藉助封神框架，基於 Detalm base 進行微調訓練。訓練數據包含蒐集的中英數據集（共三千萬條）以及 iwslt 的中英平行數據（二十萬條），最終得到英 -> 中方向的翻譯模型。

相關鏈接

• 封神榜主頁
• 封神榜-LM Github倉庫

🚀 快速開始

本模型是基於 Detalm base 進行微調得到的英 -> 中翻譯模型，下面將為你介紹其使用方法。

✨ 主要特性

• 數據豐富：使用了大量的中英數據集（共三千萬條）以及 iwslt 的中英平行數據（二十萬條）進行訓練。
• 框架支持：藉助封神框架進行微調，確保模型訓練的高效性和穩定性。

📦 安裝指南

使用前，你需要提前從 Fengshenbang-LM 的 GitHub 倉庫下載 modeling_deltalm.py 文件，你可以使用以下兩種方式：

• 直接使用 wget 命令下載：

wget https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-En-Zn/resolve/main/modeling_deltalm.py

• 強烈推薦你克隆 Fengshenbang-LM 倉庫：

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
cd Fengshenbang-LM/fengshen/

💻 使用示例

基礎用法

# Need to download modeling_deltalm.py from Fengshenbang-LM github repo in advance,
# or you can download modeling_deltalm.py use wget https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-En-Zn/resolve/main/modeling_deltalm.py
# Strongly recommend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/

from models.deltalm.modeling_deltalm import DeltalmForConditionalGeneration
from transformers import AutoTokenizer

model = DeltalmForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Deltalm-362M-En-Zn")
tokenizer = AutoTokenizer.from_pretrained("microsoft/infoxlm-base")

text = "In summer, especially, you'll need to watch out for mosquitoes if you decide to hike through the rainforest."
inputs = tokenizer(text, max_length=512, return_tensors="pt")

generate_ids = model.generate(inputs["input_ids"], max_length=512)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# model Output:
# 如果你決定徒步穿越熱帶雨林,你需要小心蚊子,尤其是在夏天。

📚 詳細文檔

模型分類

模型信息

參考論文：DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders

下游效果

📄 許可證

如果你在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}