Cdlm

🚀 跨文檔語言建模

CDLM（Cross-Document Language Modeling）即跨文檔語言建模。由Avi Caciularu、Arman Cohan、Iz Beltagy、Matthew E Peters、Arie Cattan和Ido Dagan提出，發表於2021年的EMNLP Findings。論文PDF

🚀 快速開始

在預訓練過程中，我們使用了文檔和句子分隔符，你可能需要將其添加到你的數據中。文檔分隔符為 <doc-s>、</doc-s>（詞彙表中的最後兩個標記），句子分隔符分別為 <s>、</s>。

💻 使用示例

基礎用法

from transformers import AutoTokenizer, AutoModel
# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('biu-nlp/cdlm')
model = AutoModel.from_pretrained('biu-nlp/cdlm')

📚 詳細文檔

原項目倉庫地址為 此處。

📄 許可證

本項目採用Apache-2.0許可證。

📖 引用

如果您覺得我們的工作有幫助，請按以下格式引用論文：

@article{caciularu2021cross,
  title={Cross-Document Language Modeling},
  author={Caciularu, Avi and Cohan, Arman and Beltagy, Iz and Peters, Matthew E and Cattan, Arie and Dagan, Ido},
  journal={Findings of the Association for Computational Linguistics: EMNLP 2021},
  year={2021}
}