Randeng Deltalm 362M Zh En

🚀 ランデン-Deltalm-362M-Zh-En

封神フレームワークを使用してDetalm baseをベースに微調整し、収集した中英データセット（合計3000万件）とiwsltの中英平行データ（20万件）を用いて、中 -> 英方向の翻訳モデルを得ます。

• メインページ: Fengshenbang
• GitHub: Fengshenbang-LM

🚀 クイックスタート

このモデルは、封神フレームワークを使用してDetalm baseをベースに微調整し、中英データセットを用いて訓練された中 -> 英方向の翻訳モデルです。

✨ 主な機能

• 中 -> 英方向の翻訳タスクに特化したモデルです。
• 封神フレームワークを使用してDetalm baseをベースに微調整されています。

📦 インストール

使用する前に、modeling_deltalm.py をダウンロードする必要があります。以下のいずれかの方法でダウンロードできます。

方法1: Fengshenbang-LMリポジトリをクローンする

git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
cd Fengshenbang-LM/fengshen/models/deltalm/

方法2: Hugging Faceから直接ダウンロードする

wget https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-Zn-En/resolve/main/modeling_deltalm.py

💻 使用例

基本的な使用法

# Need to download modeling_deltalm.py from Fengshenbang-LM github repo in advance,
# or you can download modeling_deltalm.py use https://huggingface.co/IDEA-CCNL/Randeng-Deltalm-362M-Zn-En/resolve/main/modeling_deltalm.py
# Strongly recommend you git clone the Fengshenbang-LM repo:
# 1. git clone https://github.com/IDEA-CCNL/Fengshenbang-LM
# 2. cd Fengshenbang-LM/fengshen/models/deltalm/

from modeling_deltalm import DeltalmForConditionalGeneration
from transformers import AutoTokenizer

model = DeltalmForConditionalGeneration.from_pretrained("IDEA-CCNL/Randeng-Deltalm-362M-Zh-En")
tokenizer = AutoTokenizer.from_pretrained("microsoft/infoxlm-base")

text = "尤其在夏天,如果你决定徒步穿越雨林,就需要小心蚊子。"
inputs = tokenizer(text, max_length=512, return_tensors="pt")

generate_ids = model.generate(inputs["input_ids"], max_length=512)
tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]

# model Output: 

📚 ドキュメント

モデル分類

モデル情報

参考論文: DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders

下流性能

📄 ライセンス

このモデルを使用する場合は、以下の論文とウェブサイトを引用してください。

論文引用

@article{fengshenbang,
  author    = {Jiaxing Zhang and Ruyi Gan and Junjie Wang and Yuxiang Zhang and Lin Zhang and Ping Yang and Xinyu Gao and Ziwei Wu and Xiaoqun Dong and Junqing He and Jianheng Zhuo and Qi Yang and Yongfeng Huang and Xiayu Li and Yanghan Wu and Junyu Lu and Xinyu Zhu and Weifeng Chen and Ting Han and Kunhao Pan and Rui Wang and Hao Wang and Xiaojun Wu and Zhongshen Zeng and Chongpei Chen},
  title     = {Fengshenbang 1.0: Being the Foundation of Chinese Cognitive Intelligence},
  journal   = {CoRR},
  volume    = {abs/2209.02970},
  year      = {2022}
}

ウェブサイト引用

@misc{Fengshenbang-LM,
  title={Fengshenbang-LM},
  author={IDEA-CCNL},
  year={2021},
  howpublished={\url{https://github.com/IDEA-CCNL/Fengshenbang-LM}},
}