Lvbert

🚀 拉脫維亞語BERT基礎模型（區分大小寫）

這是一個基於拉脫維亞語數據進行預訓練的BERT模型，採用了掩碼語言建模和下一句預測的目標。該模型在 這篇論文 中被提出，並首次通過 GitHub倉庫 發佈。當前的Hugging Face倉庫包含了LVBERT的改進版本。

此模型區分大小寫，主要用於在下游自然語言理解任務（如文本分類、命名實體識別、問答）上進行微調。不過，該模型也可直接用於計算上下文嵌入，以完成文本相似度和聚類、語義搜索等任務。

🚀 快速開始

拉脫維亞語BERT基礎模型是基於拉脫維亞語數據訓練的預訓練模型，可用於多種自然語言處理任務。你可以根據需求對其進行微調或直接使用。

✨ 主要特性

• 預訓練目標：採用掩碼語言建模和下一句預測目標進行預訓練。
• 大小寫敏感：能夠區分大小寫，更精準地處理文本。
• 多任務適用性：可用於文本分類、命名實體識別、問答等下游任務，也可直接用於文本相似度和聚類、語義搜索等任務。

📦 安裝指南

文檔未提供安裝步驟，暫不展示。

💻 使用示例

文檔未提供代碼示例，暫不展示。

📚 詳細文檔

訓練數據

LVBERT在以下語料庫的文本上進行了預訓練：

• 現代拉脫維亞語平衡語料庫
• 拉脫維亞語維基百科
• 新聞門戶文章語料庫
• 新聞門戶評論語料庫

總計約5億個標記。

分詞

在訓練數據集上訓練了一個SentencePiece模型，生成了一個包含32,000個標記的詞彙表。然後將其轉換為BERT使用的WordPiece格式。

預訓練

我們使用了BERT基礎配置，包含12層、768個隱藏單元、12個注意力頭、512的序列長度、128的小批量大小和32k的標記詞彙表。

🔧 技術細節

文檔未提供技術實現細節，暫不展示。

📄 許可證

本項目採用Apache-2.0許可證。

📚 引用

如果您使用了LVBERT，請引用以下論文：

@inproceedings{Znotins-Barzdins:2020:BalticHLT,
  author = {Arturs Znotins and Guntis Barzdins},
  title = {{LVBERT: Transformer-Based Model for Latvian Language Understanding}},
  booktitle = {Human Language Technologies - The Baltic Perspective},
  series = {Frontiers in Artificial Intelligence and Applications},
  volume = {328},
  publisher = {IOS Press},
  year = {2020},
  pages = {111-115},
  doi = {10.3233/FAIA200610},
  url = {http://ebooks.iospress.nl/volumearticle/55531}
}