Lvbert

🚀 ラトビア語BERTベースモデル (大文字小文字区別あり)

このモデルは、マスク言語モデリングと次文予測を目的として、ラトビア語のデータで事前学習されたBERTモデルです。 このモデルは、この論文で紹介され、最初はGitHubリポジトリを通じて公開されました。現在のHFリポジトリには、LVBERTの改良版が含まれています。

このモデルは大文字小文字を区別します。主に、テキスト分類、固有表現認識、質問応答などの下流の自然言語理解タスクで微調整することを目的としています。 ただし、このモデルはそのままでも、テキストの類似度やクラスタリング、意味検索などのタスクの文脈埋め込みを計算するために使用できます。

📦 モデル情報

🔧 技術詳細

トークナイゼーション

学習データセットでSentencePieceモデルを学習させ、32,000トークンの語彙を生成しました。その後、BERTで使用されるWordPiece形式に変換しました。

事前学習

BERT-baseの設定を使用し、12層、768個の隠れユニット、12個のヘッド、512のシーケンス長、128のミニバッチサイズ、32kのトークン語彙を用いて事前学習を行いました。

📄 ライセンス

このモデルはApache-2.0ライセンスの下で提供されています。

📚 引用

LVBERTを使用する場合は、以下の論文を引用してください。

@inproceedings{Znotins-Barzdins:2020:BalticHLT,
  author = {Arturs Znotins and Guntis Barzdins},
  title = {{LVBERT: Transformer-Based Model for Latvian Language Understanding}},
  booktitle = {Human Language Technologies - The Baltic Perspective},
  series = {Frontiers in Artificial Intelligence and Applications},
  volume = {328},
  publisher = {IOS Press},
  year = {2020},
  pages = {111-115},
  doi = {10.3233/FAIA200610},
  url = {http://ebooks.iospress.nl/volumearticle/55531}
}