Cdlm

🚀 クロスドキュメント言語モデリング

CDLM（Cross-Document Language Modeling）は、ドキュメント間の言語モデリングを行う手法です。この手法は、Avi Caciularu、Arman Cohan、Iz Beltagy、Matthew E Peters、Arie Cattan、Ido Daganによって開発され、2021年のEMNLP Findingsにて発表されました。PDF

🚀 クイックスタート

学習時にはドキュメントと文の区切り文字を使用していますので、データにこれらを追加することをおすすめします。ドキュメント区切り文字は<doc-s>、</doc-s>（語彙の最後の2つのトークン）、文区切り文字は<s>、</s>です。

from transformers import AutoTokenizer, AutoModel
# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('biu-nlp/cdlm')
model = AutoModel.from_pretrained('biu-nlp/cdlm')

💻 使用例

基本的な使用法

from transformers import AutoTokenizer, AutoModel
# load model and tokenizer
tokenizer = AutoTokenizer.from_pretrained('biu-nlp/cdlm')
model = AutoModel.from_pretrained('biu-nlp/cdlm')

元のリポジトリはこちらにあります。

もしこの研究が役に立った場合は、以下のように論文を引用してください。

@article{caciularu2021cross,
  title={Cross-Document Language Modeling},
  author={Caciularu, Avi and Cohan, Arman and Beltagy, Iz and Peters, Matthew E and Cattan, Arie and Dagan, Ido},
  journal={Findings of the Association for Computational Linguistics: EMNLP 2021},
  year={2021}
}

📄 ライセンス

このプロジェクトはApache-2.0ライセンスの下で提供されています。