Flaubert Base Cased

🚀 FlauBERT：面向法語的無監督語言模型預訓練

FlauBERT 是一個在非常龐大且多樣化的法語語料庫上訓練的法語 BERT 模型。不同規模的模型藉助法國國家科學研究中心（CNRS）的 Jean Zay 超級計算機進行訓練。

與 FlauBERT 一同推出的還有 FLUE：這是一個用於法語自然語言處理系統的評估框架，類似於廣受歡迎的 GLUE 基準測試。其目標是在未來開展更多可復現的實驗，並在法語領域共享模型和研究進展。更多詳情請參考 官方網站。

✨ 主要特性

• 基於大規模且異構的法語語料庫進行預訓練，能更好地適應法語語言特點。
• 提供不同規模的模型，可根據具體需求選擇。
• 配備類似 GLUE 基準測試的 FLUE 評估框架，方便進行模型評估和比較。

📦 安裝指南

文檔中未提及具體安裝步驟，可參考官方網站獲取安裝信息。

💻 使用示例

基礎用法

import torch
from transformers import FlaubertModel, FlaubertTokenizer

# 從以下選項中選擇模型名稱
# ['flaubert/flaubert_small_cased', 'flaubert/flaubert_base_uncased', 
#  'flaubert/flaubert_base_cased', 'flaubert/flaubert_large_cased']
modelname = 'flaubert/flaubert_base_cased' 

# 加載預訓練模型和分詞器
flaubert, log = FlaubertModel.from_pretrained(modelname, output_loading_info=True)
flaubert_tokenizer = FlaubertTokenizer.from_pretrained(modelname, do_lowercase=False)
# 如果使用大小寫敏感的模型，do_lowercase=False；如果使用不區分大小寫的模型，do_lowercase=True

sentence = "Le chat mange une pomme."
token_ids = torch.tensor([flaubert_tokenizer.encode(sentence)])

last_layer = flaubert(token_ids)[0]
print(last_layer.shape)
# torch.Size([1, 8, 768])  -> (batch size x number of tokens x embedding dimension)

# BERT 的 [CLS] 標記對應最後一層的第一個隱藏狀態
cls_embedding = last_layer[:, 0, :]

注意事項

⚠️ 重要提示

如果你的 transformers 版本小於等於 2.10.0，modelname 應取以下值之一：

['flaubert-small-cased', 'flaubert-base-uncased', 'flaubert-base-cased', 'flaubert-large-cased']

📚 詳細文檔

FlauBERT 模型

⚠️ 重要提示

flaubert-small-cased 模型是部分訓練的，因此不能保證其性能。建議僅將其用於調試目的。

📄 許可證

本項目採用 MIT 許可證。

📖 參考文獻

如果你在科學出版物中使用了 FlauBERT 或 FLUE 基準測試，或者認為本倉庫中的資源很有用，請引用以下論文之一：

LREC 論文

@InProceedings{le2020flaubert,
  author    = {Le, Hang  and  Vial, Lo\"{i}c  and  Frej, Jibril  and  Segonne, Vincent  and  Coavoux, Maximin  and  Lecouteux, Benjamin  and  Allauzen, Alexandre  and  Crabb\'{e}, Beno\^{i}t  and  Besacier, Laurent  and  Schwab, Didier},
  title     = {FlauBERT: Unsupervised Language Model Pre-training for French},
  booktitle = {Proceedings of The 12th Language Resources and Evaluation Conference},
  month     = {May},
  year      = {2020},
  address   = {Marseille, France},
  publisher = {European Language Resources Association},
  pages     = {2479--2490},
  url       = {https://www.aclweb.org/anthology/2020.lrec-1.302}
}

TALN 論文

@inproceedings{le2020flaubert,
  title         = {FlauBERT: des mod{\`e}les de langue contextualis{\'e}s pr{\'e}-entra{\^\i}n{\'e}s pour le fran{\c{c}}ais},
  author        = {Le, Hang and Vial, Lo{\"\i}c and Frej, Jibril and Segonne, Vincent and Coavoux, Maximin and Lecouteux, Benjamin and Allauzen, Alexandre and Crabb{\'e}, Beno{\^\i}t and Besacier, Laurent and Schwab, Didier},
  booktitle     = {Actes de la 6e conf{\'e}rence conjointe Journ{\'e}es d'{\'E}tudes sur la Parole (JEP, 31e {\'e}dition), Traitement Automatique des Langues Naturelles (TALN, 27e {\'e}dition), Rencontre des {\'E}tudiants Chercheurs en Informatique pour le Traitement Automatique des Langues (R{\'E}CITAL, 22e {\'e}dition). Volume 2: Traitement Automatique des Langues Naturelles},
  pages         = {268--278},
  year          = {2020},
  organization  = {ATALA}
}