Tookabert Base

🚀 TookaBERTモデル

TookaBERTモデルは、ペルシャ語で訓練されたエンコーダーモデルのファミリーで、baseとlargeの2つのサイズがあります。これらのモデルは、ニュース、ブログ、フォーラム、書籍など、様々なトピックを含む500GB以上のペルシャ語データで事前学習されています。2つのコンテキスト長を使用して、MLM（WWM）の目的で事前学習されています。

詳細については、arXivで論文を読むことができます。

🚀 クイックスタート

✨ 主な機能

TookaBERTモデルは、ペルシャ語の様々な自然言語処理タスクに使用できます。マスク付き言語モデリングに直接使用することができ、また、独自のデータセットでファインチューニングして、特定のタスクに合わせることも可能です。

📦 インストール

このモデルを使用するには、transformersライブラリが必要です。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

以下のコードを使用して、このモデルをマスク付き言語モデリングに直接使用できます。

from transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PartAI/TookaBERT-Base")
model = AutoModelForMaskedLM.from_pretrained("PartAI/TookaBERT-Base")

# 入力の準備
text = "شهر برلین در کشور <mask> واقع شده است."
encoded_input = tokenizer(text, return_tensors='pt')

# 順伝播
output = model(**encoded_input)

高度な使用法

以下のように推論パイプラインを使用することもできます。

from transformers import pipeline

inference_pipeline = pipeline('fill-mask', model="PartAI/TookaBERT-Base")
inference_pipeline("شهر برلین در کشور <mask> واقع شده است.")

また、このモデルを独自のデータセットでファインチューニングして、特定のタスクに合わせることもできます。

• DeepSentiPers（センチメント分析）
• ParsiNLU - Multiple-choice（多肢選択問題）

📚 ドキュメント

評価

TookaBERTモデルは、センチメント分析（SA）、テキスト分類、多肢選択問題、質問応答、固有表現認識（NER）など、幅広い自然言語処理の下流タスクで評価されています。以下は、いくつかの主要な性能結果です。

*注: ファインチューニングプロセスのランダム性のため、1%未満の差のある結果はまとめて考慮されます。

📄 ライセンス

このモデルは、Apache-2.0ライセンスの下で提供されています。

🔧 技術詳細

TookaBERTモデルは、ペルシャ語のデータで事前学習されたエンコーダーモデルです。事前学習には、MLM（WWM）の目的で2つのコンテキスト長が使用されています。データセットには、ニュース、ブログ、フォーラム、書籍など、様々なトピックが含まれています。

コンタクト

このモデルに関する質問がある場合は、Hugging Faceのコミュニティを通じてお問い合わせください。