Flaubert Base Cased

🚀 FlauBERT: フランス語向けの教師なし言語モデルの事前学習

FlauBERT は、非常に大規模で多様なフランス語コーパスで学習されたフランス語版のBERTです。異なるサイズのモデルが、新しいCNRS（フランス国立科学研究センター）の Jean Zay スーパーコンピュータを使用して学習されています。

FlauBERTとともに、FLUE が提供されています。これは、人気のあるGLUEベンチマークに似た、フランス語の自然言語処理システムの評価セットアップです。将来的に再現可能な実験を可能にし、フランス語に関するモデルと進歩を共有することを目的としています。詳細については、公式ウェブサイト を参照してください。

🚀 クイックスタート

FlauBERTは、大規模なフランス語コーパスで事前学習された言語モデルで、フランス語の自然言語処理タスクに利用できます。以下のセクションでは、FlauBERTのモデル情報、使用方法、参考文献などを紹介します。

✨ 主な機能

• フランス語向けの事前学習済み言語モデルで、多様なサイズのモデルが提供されています。
• FLUEというフランス語の自然言語処理システムの評価セットアップが用意されています。

📦 インストール

FlauBERTを使用するには、Hugging FaceのTransformersライブラリをインストールする必要があります。以下のコマンドでインストールできます。

pip install transformers

💻 使用例

基本的な使用法

import torch
from transformers import FlaubertModel, FlaubertTokenizer

# Choose among ['flaubert/flaubert_small_cased', 'flaubert/flaubert_base_uncased', 
#               'flaubert/flaubert_base_cased', 'flaubert/flaubert_large_cased']
modelname = 'flaubert/flaubert_base_cased' 

# Load pretrained model and tokenizer
flaubert, log = FlaubertModel.from_pretrained(modelname, output_loading_info=True)
flaubert_tokenizer = FlaubertTokenizer.from_pretrained(modelname, do_lowercase=False)
# do_lowercase=False if using cased models, True if using uncased ones

sentence = "Le chat mange une pomme."
token_ids = torch.tensor([flaubert_tokenizer.encode(sentence)])

last_layer = flaubert(token_ids)[0]
print(last_layer.shape)
# torch.Size([1, 8, 768])  -> (batch size x number of tokens x embedding dimension)

# The BERT [CLS] token correspond to the first hidden state of the last layer
cls_embedding = last_layer[:, 0, :]

高度な使用法

# もしあなたの `transformers` バージョンが <=2.10.0 の場合、`modelname` は以下の値のいずれかを取る必要があります。
# If your `transformers` version is <=2.10.0, `modelname` should take one
# of the following values:
modelname = 'flaubert-base-cased'

📚 ドキュメント

FlauBERTモデル

⚠️ 重要提示

flaubert-small-cased は部分的に学習されているため、性能は保証されません。デバッグ目的でのみ使用することを検討してください。

参考文献

もしあなたが科学的な出版物でFlauBERTまたはFLUEベンチマークを使用する場合、またはこのリポジトリのリソースが有用だと思った場合は、以下の論文のいずれかを引用してください。

LREC paper

@InProceedings{le2020flaubert,
  author    = {Le, Hang  and  Vial, Lo\"{i}c  and  Frej, Jibril  and  Segonne, Vincent  and  Coavoux, Maximin  and  Lecouteux, Benjamin  and  Allauzen, Alexandre  and  Crabb\'{e}, Beno\^{i}t  and  Besacier, Laurent  and  Schwab, Didier},
  title     = {FlauBERT: Unsupervised Language Model Pre-training for French},
  booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference},
  month     = {May},
  year      = {2020},
  address   = {Marseille, France},
  publisher = {European Language Resources Association},
  pages     = {2479--2490},
  url       = {https://www.aclweb.org/anthology/2020.lrec-1.302}
}

TALN paper

@inproceedings{le2020flaubert,
  title         = {FlauBERT: des mod{\`e}les de langue contextualis{\'e}s pr{\'e}-entra{\^\i}n{\'e}s pour le fran{\c{c}}ais},
  author        = {Le, Hang and Vial, Lo{\"\i}c and Frej, Jibril and Segonne, Vincent and Coavoux, Maximin and Lecouteux, Benjamin and Allauzen, Alexandre and Crabb{\'e}, Beno{\^\i}t and Besacier, Laurent and Schwab, Didier},
  booktitle     = {Actes de la 6e conf{\'e}rence conjointe Journ{\'e}es d'{\'E}tudes sur la Parole (JEP, 31e {\'e}dition), Traitement Automatique des Langues Naturelles (TALN, 27e {\'e}dition), Rencontre des {\'E}tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (R{\'E}CITAL, 22e {\'e}dition). Volume 2: Traitement Automatique des Langues Naturelles},
  pages         = {268--278},
  year          = {2020},
  organization  = {ATALA}
}

📄 ライセンス

このプロジェクトはMITライセンスの下で提供されています。