Czert B Base Cased

🚀 CZERT

本倉庫保存了論文 Czert – Czech BERT-like Model for Language Representation 中訓練好的 Czert-B 模型。欲瞭解更多信息，請查閱該論文。

🚀 快速開始

本項目提供了多種預訓練和微調後的 CZERT 模型，可用於不同的自然語言處理任務。你可以根據需求下載相應的模型進行使用。

✨ 主要特性

• 提供了預訓練的 MLM & NSP 模型以及多個針對不同下游任務的微調模型。
• 在多個下游任務（如情感分類、語義文本相似度、多標籤文檔分類等）上進行了評估，並取得了不錯的效果。

📦 可用模型

預訓練模型

你可以下載 僅用於 MLM & NSP 的預訓練模型： CZERT-A-v1 CZERT-B-v1

經過額外實驗，我們發現分詞器配置導出有誤。在 Czert-B-v1 中，分詞器參數 "do_lower_case" 被錯誤地設置為 true；在 Czert-A-v1 中，參數 "strip_accents" 被錯誤地設置為 true。

這兩個問題在 v2 版本中已得到修復： CZERT-A-v2 CZERT-B-v2

微調模型

你也可以從以下 微調模型 中進行選擇：

💻 使用示例

句子級任務

我們在兩個句子級任務上對模型進行了評估：

• 情感分類
• 語義文本相似度

文檔級任務

我們在一個文檔級任務上對模型進行了評估：

• 多標籤文檔分類

詞元級任務

我們在三個詞元級任務上對模型進行了評估：

• 命名實體識別
• 形態標註
• 語義角色標註

📚 詳細文檔

下游任務微調結果

情感分類

情感分類任務的平均 F1 結果。欲瞭解更多信息，請查閱 論文。

語義文本相似度

使用預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在語義文本相似度任務上實現的皮爾遜相關係數比較。欲瞭解更多信息，請查閱 論文。

多標籤文檔分類

使用預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在多標籤文檔分類任務上實現的 F1 和 AUROC 分數比較。欲瞭解更多信息，請查閱 論文。

形態標註

使用預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在形態標註任務上實現的 F1 分數比較。欲瞭解更多信息，請查閱 論文。

語義角色標註

SRL 結果 – 依賴關係列使用 CoNLL 2009 評估腳本的帶標籤 F1 進行評估，其他列使用與命名實體識別評估相同的跨度 F1 分數進行評估。欲瞭解更多信息，請查閱 論文。

命名實體識別

使用預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在命名實體識別任務上實現的 F1 分數比較。欲瞭解更多信息，請查閱 論文。

📄 許可證

本作品採用 知識共享署名 - 非商業性使用 - 相同方式共享 4.0 國際許可協議 進行許可。

🔗 引用方式

目前，請引用 Arxiv 論文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}