Bert Base Finnish Uncased V1

🚀 芬蘭語BERT模型

這是一個針對芬蘭語的深度遷移學習模型，能在多種芬蘭語自然語言處理任務中取得優異成果

🚀 快速開始

1.0版本發佈（2019年11月25日）

可在此處下載模型：

• 區分大小寫的芬蘭語BERT基礎模型：bert-base-finnish-cased-v1.zip
• 不區分大小寫的芬蘭語BERT基礎模型：bert-base-finnish-uncased-v1.zip

我們通常建議使用區分大小寫的模型。

介紹芬蘭語BERT的論文：arXiv:1912.07076

✨ 主要特性

這是谷歌 BERT 模型的芬蘭語版本。該模型可以進行微調，從而在各種芬蘭語自然語言處理任務中達到最先進的效果。

FinBERT 採用了自定義的50,000詞片詞彙表，與谷歌之前發佈的 多語言BERT 模型相比，對芬蘭語單詞的覆蓋度要好得多：

FinBERT 在來自新聞、在線討論和網絡爬蟲的超過30億個標記（240億個字符）的芬蘭語文本上進行了100萬步的預訓練。相比之下，多語言BERT是在維基百科文本上進行訓練的，其中芬蘭語維基百科文本約佔 FinBERT 訓練數據量的3%。

這些特性使得 FinBERT 在針對芬蘭語自然語言處理任務進行微調時，不僅能夠超越多語言BERT，還能超越之前提出的所有模型。

📚 詳細文檔

文檔分類

在 Yle 新聞（左）和 Ylilauta 在線討論（右）語料庫的一系列訓練集規模上，FinBERT 在文檔分類任務上的表現優於多語言BERT（M - BERT）。（包含使用 FastText 的基線分類性能以供參考。）

[代碼][Yle數據] [Ylilauta數據]

命名實體識別

在 FiNER 語料庫上的評估（Ruokolainen 等人，2019）

（FiNER 標記器的結果來自 Ruokolainen 等人，2019）

[代碼][數據]

詞性標註

在三個標註了 通用依存關係 詞性標籤的芬蘭語語料庫上進行評估：圖爾庫依存樹庫（TDT）、芬蘭樹庫（FTB）和平行通用依存樹庫（PUD）

[代碼][數據]

💻 使用示例

與PyTorch一起使用

如果您想將該模型與 huggingface/transformers 庫一起使用，請遵循 huggingface_transformers.md 中的步驟。

📄 歷史版本

0.2版本

2019年10月24日 基於芬蘭語新聞、在線討論和爬蟲數據語料庫從頭開始訓練的不區分大小寫的BERT基礎模型的測試版。

可在此處下載模型：bert-base-finnish-uncased.zip

0.1版本

2019年9月30日 我們發佈了基於芬蘭語新聞、在線討論和爬蟲數據語料庫從頭開始訓練的區分大小寫的BERT基礎模型的測試版。

可在此處下載模型：bert-base-finnish-cased.zip