Bert2bert Turkish Paraphrase Generation

🚀 Bert2Bertトルコ語パラフレーズ生成

このプロジェクトは、トルコ語のパラフレーズ生成を行うBert2Bertモデルに関するものです。INISTA 2021におけるトルコ語パラフレーズ生成モデルの比較研究を基にしています。

✨ 主な機能

• トルコ語の文章をパラフレーズすることができます。
• Encoder-Decoder構造を持つBert2Bertモデルを利用しています。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

from transformers import BertTokenizerFast,EncoderDecoderModel
tokenizer=BertTokenizerFast.from_pretrained("dbmdz/bert-base-turkish-cased")
model = EncoderDecoderModel.from_pretrained("ahmetbagci/bert2bert-turkish-paraphrase-generation")

text="son model arabalar çevreye daha mı az zarar veriyor?"
input_ids = tokenizer(text, return_tensors="pt").input_ids
output_ids = model.generate(input_ids)
print(tokenizer.decode(output_ids[0], skip_special_tokens=True))
#sample output
#son model arabalar çevre için daha az zararlı mı?

📚 ドキュメント

データセット

モデルの学習に使用されたデータセットは、QQPデータセットの翻訳と手動で生成されたデータセットを組み合わせて作成されました。 データセット リンク

📄 ライセンス

このプロジェクトに関する引用情報は以下の通りです。

@INPROCEEDINGS{9548335,  
author={Bağcı, Ahmet and Amasyali, Mehmet Fatih},  
booktitle={2021 International Conference on INnovations in Intelligent SysTems and Applications (INISTA)},   
title={Comparison of Turkish Paraphrase Generation Models},   
year={2021},  
volume={},  
number={},  
pages={1-6},  
doi={10.1109/INISTA52262.2021.9548335}
}