Bert Base Polish Uncased V1

🚀 Polbert - 波蘭語BERT模型

Polbert是BERT語言模型的波蘭語版本，現已推出！它有大小寫敏感（cased）和大小寫不敏感（uncased）兩種變體，均可通過HuggingFace的transformers庫下載和使用。我推薦使用大小寫敏感的模型，關於兩種模型的差異和基準測試結果，下面會有詳細介紹。

✨ 主要特性

大小寫敏感和大小寫不敏感變體

• 大小寫不敏感模型：最初訓練的是大小寫不敏感模型，下面會提及語料庫和訓練細節。發佈該模型後，我發現了一些問題：
  • 應用小寫轉換時，BERT分詞器無法正確對一些波蘭語字符和重音進行分詞。這對序列分類任務影響不大，但可能會顯著影響標記分類任務。
  • 我注意到Open Subtitles數據集中存在大量重複內容，而該數據集在訓練語料庫中占主導地位。
  • 未使用全詞掩碼（Whole Word Masking）。
• 大小寫敏感模型：在大小寫不敏感模型的基礎上進行了改進：
  • 現在所有波蘭語字符和重音都能被正確分詞。
  • 從Open Subtitles數據集中移除了重複內容。語料庫規模變小，但更加均衡。
  • 模型使用全詞掩碼進行訓練。

📦 安裝指南

Polbert通過HuggingFace Transformers庫發佈。

💻 使用示例

基礎用法

大小寫不敏感模型

from transformers import *
model = BertForMaskedLM.from_pretrained("dkleczek/bert-base-polish-uncased-v1")
tokenizer = BertTokenizer.from_pretrained("dkleczek/bert-base-polish-uncased-v1")
nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)
for pred in nlp(f"Adam Mickiewicz wielkim polskim {nlp.tokenizer.mask_token} był."):
  print(pred)
# Output:
# {'sequence': '[CLS] adam mickiewicz wielkim polskim poeta był. [SEP]', 'score': 0.47196975350379944, 'token': 26596}
# {'sequence': '[CLS] adam mickiewicz wielkim polskim bohaterem był. [SEP]', 'score': 0.09127858281135559, 'token': 10953}
# {'sequence': '[CLS] adam mickiewicz wielkim polskim człowiekiem był. [SEP]', 'score': 0.0647173821926117, 'token': 5182}
# {'sequence': '[CLS] adam mickiewicz wielkim polskim pisarzem był. [SEP]', 'score': 0.05232388526201248, 'token': 24293}
# {'sequence': '[CLS] adam mickiewicz wielkim polskim politykiem był. [SEP]', 'score': 0.04554257541894913, 'token': 44095}

大小寫敏感模型

model = BertForMaskedLM.from_pretrained("dkleczek/bert-base-polish-cased-v1")
tokenizer = BertTokenizer.from_pretrained("dkleczek/bert-base-polish-cased-v1")
nlp = pipeline('fill-mask', model=model, tokenizer=tokenizer)
for pred in nlp(f"Adam Mickiewicz wielkim polskim {nlp.tokenizer.mask_token} był."):
  print(pred)
# Output:
# {'sequence': '[CLS] Adam Mickiewicz wielkim polskim pisarzem był. [SEP]', 'score': 0.5391148328781128, 'token': 37120}
# {'sequence': '[CLS] Adam Mickiewicz wielkim polskim człowiekiem był. [SEP]', 'score': 0.11683262139558792, 'token': 6810}
# {'sequence': '[CLS] Adam Mickiewicz wielkim polskim bohaterem był. [SEP]', 'score': 0.06021466106176376, 'token': 17709}
# {'sequence': '[CLS] Adam Mickiewicz wielkim polskim mistrzem był. [SEP]', 'score': 0.051870670169591904, 'token': 14652}
# {'sequence': '[CLS] Adam Mickiewicz wielkim polskim artystą był. [SEP]', 'score': 0.031787533313035965, 'token': 35680}

下游任務使用示例

可參考下一節中Polbert在下游任務中的使用示例。

📚 詳細文檔

預訓練語料庫

以下是使用的語料庫列表以及wc命令的輸出（統計行數、單詞數和字符數）。這些語料庫使用srxsegmenter（見參考文獻）分割成句子，連接後使用HuggingFace BERT分詞器進行分詞。

大小寫不敏感模型

大小寫敏感模型

預訓練細節

大小寫不敏感模型

• Polbert使用Google BERT的GitHub倉庫（https://github.com/google-research/bert）中提供的代碼進行訓練。
• 當前發佈的模型遵循bert-base-uncased模型架構（12層，768隱藏層，12頭，1.1億參數）。
• 訓練設置：總共100萬訓練步驟：
  • 100,000步 - 序列長度128，批量大小512，學習率1e-4（10,000步熱身）
  • 800,000步 - 序列長度128，批量大小512，學習率5e-5
  • 100,000步 - 序列長度512，批量大小256，學習率2e-5
• 模型在單個Google Cloud TPU v3-8上進行訓練。

大小寫敏感模型

• 與大小寫不敏感模型採用相同的方法，但有以下差異：
  • 使用全詞掩碼。
• 訓練設置：
  • 100,000步 - 序列長度128，批量大小2048，學習率1e-4（10,000步熱身）
  • 100,000步 - 序列長度128，批量大小2048，學習率5e-5
  • 100,000步 - 序列長度512，批量大小256，學習率2e-5

評估

感謝Allegro，我們現在有了KLEJ基準測試，這是一組針對波蘭語理解的九個評估任務。以下是使用Polbert的大小寫敏感和大小寫不敏感變體運行標準評估腳本（無技巧！）所取得的結果。

注意到大小寫不敏感模型在某些任務上的表現優於大小寫敏感模型了嗎？我猜測這是因為Open Subtitles數據集的過採樣以及它與某些任務數據的相似性。所有這些基準測試任務都是序列分類任務，因此大小寫敏感模型的相對優勢在此處不太明顯。

偏差

用於訓練模型的數據存在偏差。它可能反映出與性別、種族等相關的刻板印象。在將模型用於下游任務時，請謹慎考慮這些偏差並採取措施加以緩解。

🔧 技術細節

引用

• https://github.com/google-research/bert
• https://github.com/narusemotoki/srx_segmenter
• 由Marcin Miłkowski編寫的用於波蘭語句子分割的SRX規則文件：https://raw.githubusercontent.com/languagetool-org/languagetool/master/languagetool-core/src/main/resources/org/languagetool/resource/segment.srx
• KLEJ基準測試

📄 許可證

文檔中未提及相關許可證信息。

致謝

• 感謝Google TensorFlow Research Cloud (TFRC)提供免費的TPU信用額度！
• 感謝deepset的Timo Möller分享基於他們訓練德語BERT模型經驗的技巧和腳本。
• 非常感謝Allegro發佈KLEJ基準測試，特別感謝Piotr Rybak在評估方面提供的幫助以及指出分詞方面的一些問題。
• 最後，感謝fastai的Rachel Thomas、Jeremy Howard和Sylvain Gugger提供的自然語言處理和深度學習課程！

作者

Darek Kłeczek - 在Twitter上@dk21聯繫我。