Randeng Deltalm 362M Zh En

🚀 燃燈-Deltalm-362M-中-英

本模型是一箇中英翻譯模型，使用封神框架基於 Detalm base 進行微調，利用了蒐集的中英數據集（共三千萬條）以及 iwslt 的中英平行數據（二十萬條），在中 -> 英方向的翻譯任務上表現出色。

🚀 快速開始

• 主頁：封神榜
• GitHub：封神榜-LM

✨ 主要特性

使用封神框架基於 Detalm base 進行 finetune，利用豐富的中英數據集，得到中 -> 英方向的翻譯模型。

📦 安裝指南

使用前，你需要提前從 Fengshenbang-LM 的 GitHub 倉庫下載 modeling_deltalm.py，或者使用以下鏈接下載：modeling_deltalm.py。強烈建議你克隆 Fengshenbang-LM 倉庫：

# 1. 克隆倉庫
git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. 進入指定目錄
cd Fengshenbang-LM/fengshen/models/deltalm/

💻 使用示例

基礎用法

# Need to download modeling_deltalm.py from Fengshenbang-LM github repo in advance,
# or you can download modeling_deltalm.py use https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-Zn-En/resolve/main/modeling_deltalm.py
# Strongly recommend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/models/deltalm/

from modeling_deltalm import DeltalmForConditionalGeneration
from transformers import AutoTokenizer

model = DeltalmForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Deltalm-362M-Zh-En")
tokenizer = AutoTokenizer.from_pretrained("microsoft/infoxlm-base")

text = "尤其在夏天,如果你決定徒步穿越雨林,就需要小心蚊子。"
inputs = tokenizer(text, max_length=512, return_tensors="pt")

generate_ids = model.generate(inputs["input_ids"], max_length=512)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# model Output: 

📚 詳細文檔

模型分類

模型信息

參考論文：DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders

下游效果

📄 許可證

本項目未明確提及許可證相關信息。

🔗 引用

如果您在您的工作中使用了我們的模型，可以引用我們的論文：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

也可以引用我們的網站:

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}