Czert B Base Cased Long Zero Shot

🚀 CZERT

本倉庫保存了論文 Czert – Czech BERT-like Model for Language Representation 中訓練好的 Czert-B-base-cased-long-zero-shot 模型。更多信息請參考該論文。

這是 Czert-B-base-cased 的長文檔版本，未在長文檔上進行任何微調。位置嵌入是通過簡單重複原始 Czert-B 模型的位置嵌入創建的。分詞請使用 BertTokenizer，不能與 AutoTokenizer 一起使用。

🚀 快速開始

本項目提供了預訓練模型和微調模型，可用於多種自然語言處理任務，如情感分類、語義文本相似度、多標籤文檔分類、命名實體識別、形態標註和語義角色標註等。以下將詳細介紹可用模型、使用方法和下游任務微調結果。

✨ 主要特性

• 提供了多種預訓練和微調模型，適用於不同的自然語言處理任務。
• 對多種下游任務進行了評估，包括句子級、文檔級和詞元級任務。
• 與其他模型（如 mBERT、SlavicBERT 等）進行了對比，展示了良好的性能。

📚 詳細文檔

可用模型

你可以下載 僅 MLM & NSP 預訓練模型： CZERT-A-v1 CZERT-B-v1

經過一些額外實驗，我們發現分詞器配置導出錯誤。在 Czert-B-v1 中，分詞器參數 "do_lower_case" 錯誤地設置為 true；在 Czert-A-v1 中，參數 "strip_accents" 錯誤地設置為 true。

這兩個錯誤在 v2 中已修復： CZERT-A-v2 CZERT-B-v2

或者從 微調模型 中選擇：

如何使用 CZERT？

句子級任務

我們在兩個句子級任務上評估了我們的模型：

• 情感分類
• 語義文本相似度

# 示例代碼（註釋保持原樣）
# tokenizer = BertTokenizerFast.from_pretrained(CZERT_MODEL_PATH, strip_accents=False)  
# model = TFAlbertForSequenceClassification.from_pretrained(CZERT_MODEL_PATH, num_labels=1)
    
# or
    
# self.tokenizer = BertTokenizerFast.from_pretrained(CZERT_MODEL_PATH, strip_accents=False)
# self.model_encoder = AutoModelForSequenceClassification.from_pretrained(CZERT_MODEL_PATH, from_tf=True)

文檔級任務

我們在一個文檔級任務上評估了我們的模型：

• 多標籤文檔分類

詞元級任務

我們在三個詞元級任務上評估了我們的模型：

• 命名實體識別
• 形態標註
• 語義角色標註

下游任務微調結果

情感分類

情感分類任務的平均 F1 結果。更多信息請參考 論文。

語義文本相似度

預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在語義文本相似度上的皮爾遜相關係數比較。更多信息請參考 論文。

多標籤文檔分類

預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在多標籤文檔分類上的 F1 和 AUROC 分數比較。更多信息請參考 論文。

形態標註

預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在形態標註任務上的 F1 分數比較。更多信息請參考 論文。

語義角色標註

SRL 結果 – 依存關係列使用 CoNLL 2009 評估腳本的帶標籤 F1 進行評估，其他列使用與 NER 評估相同的跨度 F1 分數進行評估。更多信息請參考 論文。

命名實體識別

預訓練的 CZERT-A、CZERT-B、mBERT、Pavlov 和隨機初始化的 Albert 在命名實體識別任務上的 F1 分數比較。更多信息請參考 論文。

📄 許可證

本作品採用 知識共享署名 - 非商業性使用 - 相同方式共享 4.0 國際許可協議 進行許可。

如何引用 CZERT？

目前，請引用 Arxiv 論文：

@article{sido2021czert,
      title={Czert -- Czech BERT-like Model for Language Representation}, 
      author={Jakub Sido and Ondřej Pražák and Pavel Přibáň and Jan Pašek and Michal Seják and Miloslav Konopík},
      year={2021},
      eprint={2103.13031},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      journal={arXiv preprint arXiv:2103.13031},
}