Tookabert Large

🚀 TookaBERTモデル

TookaBERTは、ペルシャ語で訓練された一連のエンコーダーモデルで、ベース版とラージ版の2種類があります。このモデルは、500GBを超えるペルシャ語データで事前学習されており、データにはニュース、ブログ、フォーラム、書籍など様々な主題が含まれています。MLM（WWM）目的関数を用いて、2種類のコンテキスト長で事前学習されています。TookaBERT-Largeは、ペルシャ語で事前学習された最初の大型エンコーダーモデルで、現在、ペルシャ語タスクでトップレベルの性能を発揮しています。

詳細情報については、arXivに掲載されている当社の論文をご覧ください。

🚀 クイックスタート

✨ 主な機能

• TookaBERTモデルには、ベース版とラージ版の2種類があります。
• 500GBを超えるペルシャ語データで事前学習されており、データの主題は豊富です。
• MLM（WWM）目的関数を用いて、2種類のコンテキスト長で事前学習されています。
• TookaBERT-Largeは、ペルシャ語で事前学習された最初の大型エンコーダーモデルで、ペルシャ語タスクで優れた性能を発揮します。

💻 使用例

基本的な使用法

以下のコードを使用して、直接マスク言語モデリングを行うことができます。

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Large")
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Large")

# prepare input
text = "شهر برلین در کشور <mask> واقع شده است."
encoded_input = tokenizer(text, return_tensors='pt')

# forward pass
output = model(**encoded_input)

高度な使用法

推論パイプラインを使用することもできます。例を以下に示します。

from transformers import pipeline

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Large")
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")

また、このモデルを自分のデータセットで微調整して、特定のタスクに適合させることもできます。例えば、

• DeepSentiPers（感情分析）
• ParsiNLU - Multiple-choice（多肢選択）

📚 ドキュメント

TookaBERTモデルは、一連のNLP下流タスクで評価されており、感情分析（SA）、テキスト分類、多肢選択、質問応答、固有表現認識（NER）などが含まれます。以下は、いくつかの重要な性能結果です。

⚠️ 重要な注意事項

微調整プロセスのランダム性により、1%未満の差異は同じと見なされます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスを使用しています。

お問い合わせ

このモデルに関するご質問がある場合は、Hugging Face上のコミュニティからお問い合わせください。