Deberta Xxlarge Fixed

🚀 DeBERTa (1.5B) 修正版

このモデルは、deberta - v2 - xxlarge を更新して AutoModelForCausalLM クラスを実装し、テキスト生成が可能になったものです。この実装は、私たちの論文 "BERTs are Generative In - Context Learners" に基づいています。

このリポジトリでは、DeBERTaの元のHF実装 に存在する3つのバグを修正しています。

1. チェックポイントファイル内の出力埋め込み重みの誤った名前を修正しました。
2. 元のGitHubリポジトリ に基づいて、拡張マスクデコーダ（EMD）の実装を修正しました。
3. 位置埋め込みをクランプして、長いシーケンス長でも動作するようにしました。

🚀 クイックスタート

このDeBERTaの修正版は、AutoModelForCausalLM クラスを用いてテキスト生成が可能です。以下の使用例を参考に、簡単に始めることができます。

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("ltg/deberta-xxlarge-fixed", trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained("ltg/deberta-xxlarge-fixed", trust_remote_code=True).cuda().eval()

prompt = """German: Hallo, wie geht es Ihnen heute?
English:"""
prompt = prompt.replace('\n', '\\n ')
input_ids = tokenizer(prompt, return_tensors="pt", add_special_tokens=False).input_ids.cuda()

prediction = model.generate(
    input_ids,
    num_beams=4,
    do_sample=False,
    use_cache=None,
    max_new_tokens=64,
    eos_token_id=tokenizer(".\\", add_special_tokens=False).input_ids[1:]
)
prediction = prediction[0, input_ids.size(1):]
prediction = tokenizer.decode(prediction).rstrip('\\')

# Expected output: "Hello, how are you doing today?"
print(prediction)

📚 ドキュメント

引用

DeBERTaがあなたの研究や開発に役立った場合、以下の論文を引用してください。

@inproceedings{
  samuel2024berts,
  title={{BERT}s are Generative In-Context Learners},
  author={David Samuel},
  booktitle={The Thirty-eighth Annual Conference on Neural Information Processing Systems},
  year={2024},
  url={https://openreview.net/forum?id=BCA9NMZkLS}
}

@inproceedings{he2021deberta,
  title={{DeBERTa}: Decoding-enhanced {BERT} with disentangled attention},
  author={Pengcheng He and Xiaodong Liu and Jianfeng Gao and Weizhu Chen},
  booktitle={International Conference on Learning Representations},
  year={2021},
  url={https://openreview.net/forum?id=XPZIaotutsD}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。