Bart Base Cantonese

🚀 bart-base-cantonese

これはBART baseの広東語モデルです。fnlp/bart-base-chineseモデルをベースに、LIHKGデータセットで二段階事前学習を行って得られたものです。

このプロジェクトは、GoogleのTPU Research Cloud (TRC) から提供されるCloud TPUによってサポートされています。

⚠️ 重要提示

著作権の問題を避けるため、このモデルをどんな目的でも使用しないでください。

📚 ドキュメント

GitHubリンク

• データセット: ayaka14732/lihkg-scraper
• トークナイザー: ayaka14732/bert-tokenizer-cantonese
• ベースモデル: ayaka14732/bart-base-jax
• 事前学習: ayaka14732/bart-base-cantonese

💻 使用例

基本的な使用法

from transformers import BertTokenizer, BartForConditionalGeneration, Text2TextGenerationPipeline
tokenizer = BertTokenizer.from_pretrained('Ayaka/bart-base-cantonese')
model = BartForConditionalGeneration.from_pretrained('Ayaka/bart-base-cantonese')
text2text_generator = Text2TextGenerationPipeline(model, tokenizer)  
output = text2text_generator('聽日就要返香港，我激動到[MASK]唔着', max_length=50, do_sample=False)
print(output[0]['generated_text'].replace(' ', ''))
# output: 聽日就要返香港，我激動到瞓唔着

⚠️ 重要提示

モデルの語彙にはBertTokenizerを使用してください。元のBartTokenizerは使用しないでください。

🔧 技術詳細

• オプティマイザー: SGD 0.03 + Adaptive Gradient Clipping 0.1
• データセット: 172937863文、64トークンにパディングまたはトランケート
• バッチサイズ: 640
• エポック数: 7エポック + 61440ステップ
• 時間: Google Cloud TPU v4-16で44.0時間

WandBリンク: 1j7zs802

📄 ライセンス

other

情報テーブル