Randeng Deltalm 362M En Zh

🚀 燃灯-Deltalm-362M-英-中

封神フレームワークを使用して、英語から中国語への翻訳モデルを構築しました。

🚀 クイックスタート

• メインページ: Fengshenbang
• Github: Fengshenbang-LM

✨ 主な機能

封神フレームワークを用いてDetalm baseをファインチューニングし、収集した中英データセット（計3000万件）とiwsltの中英平行データ（20万件）を利用して、英語から中国語への翻訳モデルを得ました。

Using the Fengshen-LM framework and finetuning based on detalm, get a translation model in the English -> Chinese direction

📚 ドキュメント

モデル分類

モデル情報

参考論文：DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders

下流性能

💻 使用例

基本的な使用法

# Need to download modeling_deltalm.py from Fengshenbang-LM github repo in advance,
# or you can download modeling_deltalm.py use wget https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-En-Zn/resolve/main/modeling_deltalm.py
# Strongly recommend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/

from models.deltalm.modeling_deltalm import DeltalmForConditionalGeneration
from transformers import AutoTokenizer

model = DeltalmForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Deltalm-362M-En-Zn")
tokenizer = AutoTokenizer.from_pretrained("microsoft/infoxlm-base")

text = "In summer, especially, you'll need to watch out for mosquitoes if you decide to hike through the rainforest."
inputs = tokenizer(text, max_length=512, return_tensors="pt")

generate_ids = model.generate(inputs["input_ids"], max_length=512)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# model Output:
# 如果你决定徒步穿越热带雨林,你需要小心蚊子,尤其是在夏天。

📄 ライセンス

引用

もしあなたの研究や開発でこのモデルを使用した場合、以下の論文を引用してください：

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

また、以下のウェブサイトも引用することができます：

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}